HDFS架构设计 -- 主从架构

1.基础介绍
一、HDFS进程
NN 名称节点 (主)
DB 数据节点    (从)
SNN 第二名称节点     (check porint)

二、block(数据块)
默认大小：128M
修改文件：hdfs-site.xml
修改参数：dfs.blocksize
文件存储会分隔多个block块进行本地存储，集群模式下block会在其他DN上存储block复制副本
举例：一个300M文件上传,切2个block 最后一个block块44M。

三、副本数 -- DB节点机器数(从)
-- 基本配置为三个副本数，Maxreplication=512 ，Minreplication=1
修改文件：hdfs-site.xml
修改参数：dfs.replication

2.架构设计图及说明

NN 一台 | 两台HA (Actice\standby)
DN 多台 | rack区分和网段

NameNode      -- 文件系统命名空间
1、文件名称
2、文件目录结构
3、文件属性 (permissions, create_time,replications)
4、文件对应数据块，数据块对应分布在哪些DN节点上列表，
PS：接受DN发送blockReport数据存储在内存上

DataNode      -- 存储数据块 + 数据块的校验和
1、与NameNode通信
:每隔3s发送一个心跳 ,是否存活
:每隔10次心跳发送一次blockReport
2、作用：读写文件的数据块
PS：DN存储在本地磁盘上

SecondaryNameNode   -- Check NN
1、存储:命名空间镜像fsimage + 编辑日志editlog
2、作用:定期合并fsimage+editlog 为新的fsimage推送给NN 称为 chenkpoint
参数配置：dfs.name.checkpoint.period 3600s

启动顺气: NameNode > SecondaryNameNode > DataNode

3.副本放置策略及说明

黄色:为上传文件，第一个副本优先上传到本地NameNode
蓝色:依次更多DataNode副本

ITPub博客

Hadoop之HDFS主从架构及说明(一)

最新文章