HDFS的性状是啊。5、 最后一个datanode成功存储之后会回一个ack packet( 确认队列)

引子

干什么要HDFS?

以一个物理计算机的仓储已经hold不住我们大幅度的多寡集。

HDFS的特性是呀?

HDFS以流式数据访问模式来存储超大文件,运行为商用硬件集群达

1.重特大文件:数量级MB、GB、TB等

2.流式数据看模式:以块啊单位开展读写。相同次写副、多次读取。

3.高数吞吐量,时间推迟不低

4.勿克储存大量小文件:namenode的内存中存储HDFS中文件首先信息,每个长信息大约占150B,因此HDFS能积存的文书总数被抑制namenode的内存大小。

5.勿支持多用户写入:HDFS中的文本才出一个writer

6.不克随意修改文件:写操作是充实模式


HDFS写副流程:

image.png

1、 使用HDFS提供的客户端Client, 向远程的Namenode发起RPC请求

2、 Namenode会检查如果开创的文书是否曾有, 创建者是否发生权力进行操作,
成功则会否文件创建一个记录, 否则会让客户端抛来十分;

3、 当客户端起勾画副文件的时候, 客户端会将文件切分成多只packets,
并在其中以多少列“data queue( 数据列) ”的形式管理这些packets,
并向Namenode申请blocks, 获取用来存储replicas的适用的datanode列表,
列表的高低根据Namenode中replication的设定而一定;

4、 开始为pipeline( 管道) 的花样以packet写副具的replicas中。
开发库把packet以流的法门写副第一单datanode,
该datanode把该packet存储之后,
再以其传递给于这个pipeline中的产一个datanode, 直到最后一个datanode,
这种写多少的方式上流水线的样式。

5、 最后一个datanode成功存储之后会回去一个ack packet( 确认队列) ,
在pipeline里传递到客户端, 在客户端的开发库中维护在”ack queue”,
成功接收datanode返回的ack packet后会见由”ack queue”移除相应的packet。

6、 如果传输过程被, 有某个datanode出现了故障,
那么当前的pipeline会被关门,
出现故障的datanode会从即的pipeline中移除,
剩余的block会继续剩下的datanode中持续为pipeline的样式传输,
同时Namenode会分配一个新的datanode, 保持replicas设定的数目。

7、 客户端完成多少的状副后, 会对数码流调用close()方法, 关闭数据流;

8、 只要写副了dfs.replication.min的复本数( 默看1) ,
写操作就见面成, 并且这个片好当汇聚众多中异步复制, 直到达到那个目标复本数(
dfs. replication的默认值为3) , 因为namenode已经亮文书由安块组成,
所以它当回来成功面前只有待拭目以待数片进行最少量的复制。


基本功概念

HDFS写过程:

image.png

1、 使用HDFS提供的客户端Client, 向远程的Namenode发起RPC请求;

2、 Namenode会视情形返回文件的片段还是全部block列表, 对于每个block,
Namenode都见面回来该block拷贝的DataNode地址;

3、 客户端Client会选取离客户端最近之DataNode来读取block;
如果客户端本身就是是DataNode, 那么将由地面一直获取数据;

4、 读取了当前block的数据后, 关闭时的DataNode链接,
并为念博下一个block寻找最佳的DataNode;

5、 当读完列表block后, 且文件读取还尚未截止,
客户端会继续朝着Namenode获取下一致批的block列表;

6、 读取了一个block都见面进行checksum验证, 如果读取datanode时起谬误,
客户端会通知Namenode,
接下来再次起生一个具有该block拷贝的datanode继续读。

数据块

当单身的存储单元,读写最好小单位。默认64MB,可每当hdfs-site.xml中打定义。

片要于磁盘块(512B)大得差不多,是以太小化寻址开销。磁盘传输数据耗时>定位是片开始位置的耗时。然而块不克设置了好,是因MR任务中,map任务通常一次拍卖一个块,如果块数量少,则连行map任务便少,job运行速度比缓。

再说说……

· 文件所有的片分布式存储于一一datanode上,

· 小于一个片默认大小的公文,不会见占用整个片的半空中。

namenode和datanode

namenode管理文件系统的命名空间和每个文件被相继块所当的多少节点信息。命名空间是HDFS的文件系统树和树内所有目录及文书,以fsimage和editlog文件永远保存在本地磁盘上。块的贮存信息以内存中,系统启动时由于datanode上报。

datanode是HDFS的行事节点,负责储存并找数据块,定期为namenode发送它们所蕴藏的片的列表。

至于配置:

dfs.replication默认3,一个数块存3客,HDFS会自动备份到3只不等之datanode上。


HDFS读写流程

读文件

【一句话版】namenode告知客户端数据的块位置,让客户端联系datanode流式检索数据。

便宜:
namenode内存存储块索引信息,相应快;block分散于集群拥有节点上,以便HDFS可扩大大量连发客户端。

瓶颈:随客户端数量提高,namenode的I\O成为瓶颈。

1.
【概括版】客户端调用DistributedFileSystem对象的open()方法,RPC调用namenode的GetBlockLocations()方法,namenode返回存来该公文所有block信,包括其符合本所在的所有datanode地址

【细节版】客户端调用DistributedFileSystem.open(Path f, int
bufferSize),open()函数中new了一个DFSInputStream对象;在DFSInputStream的构造函数中,openInfo()函数被调用,其重要从namenode中得到要开拓的文书所对应的blocks的消息,通过callGetBlockLocations()实现,核心代码如下:

// openInfo():

LocatedBlocks newInfo = callGetBlockLocations(namenode, src, 0,
prefetchSize);

//callGetBlockLocations()中将发起一个RPC调用,返回 LocatedBlocks
对象

namenode.getBlockLocations(src, start, length);

LocatedBlocks 是一个链表,List<LocatedBlock>
blocks,其中每个元素包含以下信息:

Block b:此block的信息

long offset:此block在文书中之偏移量

DatanodeInfo[] locs:此block位于安DataNode上

2.
namenode接纳到要后,将进行同样层层操作。RPC调用NameNode.getBlockLocations(),里面还调用namesystem.getBlockLocations(getClientMachine(),
src, offset, length);

namesystem封存在namenode上之命名空间树,具体是一个INode链表,INode有三三两两种植子类:INodeFile和INodeDirectory。其中,INodeFile有成员变量BlockInfo
blocks[],是是文件包含的block的信息。

getBlockLocations()具体步骤:1) 得到此文件的block信息; 2)
从offset开始,长度也length所关联的blocks; 3)
找到各个block对应的、健康之datanode机器。返回LocatedBlocks对象。

3~5.
回到客户端,在DFSInputStream的构造函数通过RPC收到一串block音(即LocatedBlocks对象)之后,DFSInputStream读取文件由始块的datanode地址,随即和距离最近的datanode建立Socket连接和朗诵入流,客户端反复调用FSDataInputStream的read()读取block信息

e.g.对于64M一个block的文件系统来说,欲读取从100M(offset)开始,长度也128M(length)的数量,则block列表包括第2,3,4块block。第2哀号block从36MB开始读取28MB,第3声泪俱下block从0MB开始读取64MB….

抵达block末端,DFSInputStream关闭及该datanode的连天,寻找下一个block的极品datanode。

6.至文件尾时,客户端对FSDataInputStream调用close()方法。

再说说…

碰到读失败,1)
DFSInputStream和datanode的连续起错误时,从相差次近的datanode读取,并将拖欠节点记入“故障节点列表”,以防反复起该节点读。2)读取到一个破坏的block,先通知namenode,再由旁datanode读取该块的其它一个副本。

写文件

【一句话版】客户端向namenode申请创建文件,namenode分配datanode,客户端通过pipeline形式写多少,全部确认正常写副后通报namenode。

1.客户端通过调用DistributedFileSystem对象的create()方法,该方法生成一个FSDataOutputStream用于为新转变的文本被写副数据,其成员变量dfs的项目也DFSClient,DFSClient的create()函数中归一个DFSOutputStream对象。在DFSOutputStream的构造函数中,做了少数起重大的作业:一是由此RPC调用NameNode的create()来创造一个文书;二凡streamer.start(),即起步了一个pipeline,用于形容多少。

//以下也客户端调用的create                                           
                                      public FSDataOutputStream
create(Path f, FsPermission permission,
boolean overwrite, int
bufferSize, short replication, long blockSize,
Progressable
progress) throws IOException {
return new
FSDataOutputStream(dfs.create(getPathName(f), permission,

overwrite, replication, blockSize, progress, bufferSize),
statistics);  }

  1. namenode
    先在命名空间(在磁盘)中反省文件是否留存和客户端是不是有权力,再新建一个初文件之第一信息及fsimage
    中,就是命名空间,此时并未任何块以及之对应。

3~5.
客户端调用DFSOutputStream对象的write()方法勾勒多少。按照HDFS的计划,对block的多寡写入使用的是pipeline的方式,也即将数据分为一个个的package,如果要复制三分,分别写副DataNode
1, 2, 3,则会开展如下的历程:

    1) 创建写入流,RPC调用namenode呢文件分配block,
并设置block对应的DataNode。

    2) 将block分成多个chunk(512B),每N个chunk +
校验值形成一个package。package进入dataQueue

    3) 客户端将DataNode 2、3信息和 package 1写入DataNode 1,package
1从dataQueue移至ackQueue,等待确认。

    4) 由DataNode 1负责将DataNode3信息和package1形容副DataNode
2,同时客户端好以pacage 2写副DataNode 1。package
2从dataQueue移至ackQueue,等待确认。

    5) DataNode 2负责用package 1写副DataNode 3, 同时客户端可用package
3勾副DataNode 1,DataNode 1将package 2写副DataNode 2。package
3从dataQueue移至ackQueue,等待确认。

纵然如此将一个个package排着群的传递下去,直到有的多寡全形容副并复制了并且都接到及ACK确认包。

6~7.写了所有块之后,断开与DataNode 1的连续,客户端通知namenode,完成。

再说说….

碰到写黄,DataNode1故障时,1)关闭pipeline,2)把ackQueue中的富有数据包添加到dataQueue的脑袋,
3)为DataNode2中时block指定一个新标识,通知namenode,以便DataNode1恢复后去本block的不尽数据,4)将故障DataNode1从pipeline中删除,然后继续用余下数量包写入正常节点。异步完成本block的副本复制。

有关“文件一致性”:在文件创建后,写了前,正在写入的block是读取不顶之(e.g.读文件内容、获取文件大小)。除非调用HDFS的sync()方法强制有缓存与数节点同步。

参照文章:

《Hadoop- The Definitive Guide, 4th Edition》

Hadoop学习总结的二:HDFS读写过程解析

相关文章