HDFS架构设计：
1.NN(NameNode):主要是维护管理文件命名空间，其中包括了文件名称，文件的权限，创建时间，副本数，文件被分成多少块，快分布在哪些机器（产生文件fsimage和editlog）。
2.理解NN管理下NN和块以及实际存储内容的存储关系。
实例：假设NN为一个容量为128000ML的正方形盒子，每个块为同样大小正正方方的容量为128ML的盒子，但是每个盒子里只有3ml的水（每个块中存储文件的实际大小）。
则问实际存储的内容是多少ml？3*（128000/128）=3000ml这里是由DN管理存储的。
放进去的盒子是多少个？1000个（其实就是存储的块的数量）
总的来说尽管实际存储只有3000ml,但是却消耗了1000个瓶子的名字的字节总和的NN的空间，但是如果把1000个瓶子压缩成500或者更少（小文件合并），则可以消耗更少量的NN管理空间。
3.DN（DataNode）:存储数据块，存储数据块校验和。
4.SN（SecondaryNode）:做每小时的检查工作checkpoint。（检查NN的工作即产生文件fsimage和editlog并进行打包制作成新的fsimage文件保存下来）
图理解：
1.NN(NameNode):主要是维护管理文件命名空间，其中包括了文件名称，文件的权限，创建时间，副本数，文件被分成多少块，快分布在哪些机器（产生文件fsimage和editlog）。
2.理解NN管理下NN和块以及实际存储内容的存储关系。
实例：假设NN为一个容量为128000ML的正方形盒子，每个块为同样大小正正方方的容量为128ML的盒子，但是每个盒子里只有3ml的水（每个块中存储文件的实际大小）。
则问实际存储的内容是多少ml？3*（128000/128）=3000ml这里是由DN管理存储的。
放进去的盒子是多少个？1000个（其实就是存储的块的数量）
总的来说尽管实际存储只有3000ml,但是却消耗了1000个瓶子的名字的字节总和的NN的空间，但是如果把1000个瓶子压缩成500或者更少（小文件合并），则可以消耗更少量的NN管理空间。
3.DN（DataNode）:存储数据块，存储数据块校验和。
4.SN（SecondaryNode）:做每小时的检查工作checkpoint。（检查NN的工作即产生文件fsimage和editlog并进行打包制作成新的fsimage文件保存下来）
图理解：
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/31537584/viewspace-2155565/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
MySQL语法
下一篇：
HDFS副本放置策略
请登录后发表评论
登录
全部评论
