Hadoop 大版本有三个，Hadoop1、hadoop2、Hadoop3,对应的HDFS 也有三个版本 HDFS1、HDFS2、HDFS3，本文会介绍三个版本之间的架构区别

Namenode 主要是接收客户端的请求和负责元数据管理，而 Datanode 主要就是负责存储数据。Datanode 中存储的数据都是一个个的块，每个块大小默认 64M

具体使用一个客户端上传数据的示例来说明：

虽然 HDFS1 解决了分布式存储的问题，但是他的设计还是有一些缺陷，比如：

单点问题：因为 HDFS1 中只有一个 Namenode ，而所有的元数据信息都存储在 Namenode 上,而一旦 Namenode 出现问题，所有的元数据就会丢失，而整个集群也就无法使用了

基于这个两个问题，HDFS2 诞生了，HDFS2 使用 HA 解决单点问题，使用 联邦 解决内存受限问题。

这里所属的 支持亿级流量 具体是指客户端的请求，因为 Namenode 管理元数据，所有任务在执行的时候都要请求 Namenode 的元数据,而一旦任务多了这个请求量还是很可观的。

所以 Namenode 必须可以应对亿级的元数据请求，为了应对这么大流量的访问所以 Namenode 才把所有的元数据信息都放到内存中了。

但是又为了数据安全，Namenode 又会把元数据信息放到磁盘上，且为了 HA 元数据还得写到 JournalNode 集群中。

那问题就来了，如果元数据只内存中，当然能够支持亿级的请求，但是又要写磁盘，又要写 JournalNod ，Namenode 如何解决的呢？其实 Namenode 在管理元数据的时候，使用了两个方法来解决此问题：

那就是 双缓冲和 分端加锁

Namenode 在接收客户端的元数据操作请求时，是先把数据写入 内存1中，当 内存1中的数据写到一定程度的时候，把 内存1 与 内存2交换（这里是指针交换，不是内存的copy）,然后把交换后的内存刷新到磁盘或者Journalnode中。

在 Namenode 元数据管理这块，HDFS 使用了多线程去实现的，很多地方加了使用 synchronized 加了锁，但是它并没有对所有代码加锁，而是只对有线程安全问题的地方加锁。

ITPub博客

hadoop 源码分析HDFS架构演进