Hadoop Distributed File System，即Hadoop分布式文件系统）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS中的数据。HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件集群内的不同机器上。

NameNdoe还负责对DataNode的状态监控。DataNode定期向NameNode发送心跳以及所存储的块的列表信息。NameNode可以知道每个DataNode上保存着哪些数据（Block信息），DataNode是否存活，并可以控制DataNode启动或是停止。若NameNode发现某个DataNode发生故障，会将其存储的数据在其他DataNode机器上增加相应的备份以维护数据副本（默认为3，可在配置文件中配置）保持不变。

DataNode
DataNode负责数据的实际存储和读/写工作。HDFS会将文件切割成固定大小的数据块（Block），每个数据块又以多副本的形式存储在集群上，如果出现故障导致某一副本丢失，那么可以从其它副本恢复，默认保留3个副本。

客户端上传文件过程

1）客户端向NameNode请求上传文件

3）NameNode响应客户端是否可以上传文件

5）NameNode查询DataNodes状态信息（忙碌情况，远近情况等）

7）客户端请求与最近的一个DataNode节点（假设为datanode1）建立传输通道，并告知其还要传给datanode2和datanode3。datanode1会请求与datanode2建立连接，datanode2会请求与datanode3建立连接。

9）客户端收到通道建立成功的消息后，开始向datanode1发送block1的数据，以一个个package（64k）为单位通过通道向datanode1写数据，datanode1收到数据会将其存在本地缓存中，一边向datanode2传数据，一边将缓存中的数据保存到磁盘上。

11）当一个block传输完成之后，客户端再次请求namenode上传第二个block

客户端在上传数据时，请求NameNode告诉其应该往哪几个DataNode上传副本。NameNode需要综合考虑DataNode的可靠性，写入带宽，读出带宽等因素。默认情况下，在运行客户端的那个节点上存放第1个副本，如果客户端运行在集群之外，则随机选择一个节点存放第1块，但NameNode会尽量选择那些情况好的DataNode（存储不太满，当时不太忙，带宽比较高）。第2个副本存放在与第1个副本所在机架不同的另一个机架上的DataNode中（随机选择另一机架上的另一情况较好的DataNode），第3个副本存在与第2个副本相同机架但不同DataNode上。

客户端下载文件文件

1）客户端跟NameNode通信，请求下载某个数据。

3）将数据所在的DataNode信息返回给客户端。

5）DataNode响应客户端请求，将数据返回给客户端。

NameNode与Secondary NameNode
因为NameNode上保存着整个HDFS集群上的所有元数据信息，如果NameNode宕机，集群将失去所有数据，因此NameNode的容错机制十分重要，Hadoop为此提供了两种机制。

第二种是运行一个辅助NameNode，被称为Secondary NameNode（第二名称节点）。Secondary NameNode的职责并不是作为NameNode的热备份机，其主要作用是定期从NameNode拉取fsimage和editlog，并将两者合并成新的fsimage，将新的fsimage返回给NameNode。这种方式，一方面可以避免NameNode上的编辑日志过大，另一方面将合并操作放在Secondary NameNode上可以节省NameNode的cpu时间和内存，减轻NameNode的工作压力，让NameNode更专注于自己的本职工作。Secondary NameNode中保存的fsimage数据总是会滞后于NameNode内存中的元数据，所以在NameNode宕机后，难免会有部分的数据丢失。

步骤详解：

2）NameNode做准备。

4）Secondary NameNode将editlogs和fsimage加载到内存中，进行合并产生新的fsimage。

NameNode高可用（High Availability，HA）
即使将NameNode内存中的元数据备份在多个文件系统中，并通过Secondary NameNode的checkpoint功能防止NameNode的数据丢失，但依然无法实现NameNode的高可用。NameNode一旦失效，整个系统将无法提供服务，管理员通过冷启动的方式让新的NameNode上线需要一段等待的时间（几十分钟，甚至更长）。新的NameNode在响应服务前必须经历以下以下步骤：将元数据导入内存；重做编辑日志文件；接收到足够多的来自DataNode的数据块报告并退出安全模式(数据块的位置信息不保存在元数据中，需要NameNode启动时在DataNode向其汇报的块信息中获取)。

1）主控服务器由一主（Active NameNode，ANN）一从（Standby NameNode，SNN）两台服务器构成。

3）ANN和SNN之间通过高可用的共享存储系统保持数据一致（ANN将数据写入共享存储系统，SNN一直监听共享系统，一旦数据发生改变就将其加载到自己内存中）

5）故障转移控制器（Failover Contraller，FC），监控ANN和SNN的状态，并不断向ZK集群汇报心跳信息。

7）snn负责做checkpoint。

2）命名空间中保存的内容包括文件或目录的拥有者，修改日期，以及文件被切分为哪几个块等信息，但不包括块到底是存储在哪些datanode中的信息（block位置信息）。

4）datanode很好地支持水平扩展，但单一namenode受内存空间限制，使得HDFS中所能容纳的最大文件数量受到限制（一个大文件和一个小文件的元数据所占内存空间大小是基本相同，所以不适合存小文件，会很快占满namenode的内存）。

6）单一namenode无法隔离来自不同客户的请求（比如本地实验时，对namenode的负载影响会导致正常用户的访问请求受到延迟等）

1）将一个大的命名空间切割成若干子命名空间，每个namenode管理命名空间中的一部分（如一个namenode管理/user下的所有文件，另一个管理/test下的所有文件）。

3）所有datanode被所有namenode共享，还是担任存储数据的功能。每个数据块的信息保存在唯一的某个数据块池中。

5）每个datanode向所有的namenode发送心跳和block信息，每个namenode再根据自己的子命名空间维护自己的数据块池。

版权声明：本文为原创文章，转载请附上原文出处链接及本声明。下载相关视频学习资料到尚硅谷官方网站。