ITPub博客

首页 > 大数据 > Hadoop > Hadoop DataNode工作机制

Hadoop DataNode工作机制

Hadoop 作者:元亨利贞 时间:2023-09-28 15:36:58 0 删除 编辑

工作机制

数据块存储:一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据(包括数据块的长度,块数据的校验和,以及时间戳)。

注册与上报:DataNode启动后向NameNode注册,注册通过后,周期性(6小时)的向NameNode上报所有的块信息。

DN向NN汇报当前解读信息的时间间隔,默认6小时;
<property>
<name>dfs.blockreport.intervalMsec</name>
<value>21600000</value>
<description>Determines block reporting interval in milliseconds.</description>
</property>
DN扫描自己节点块信息列表的时间,默认6小时
<property>
<name>dfs.datanode.directoryscan.interval</name>
<value>21600s</value>
<description>Interval in seconds for Datanode to scan data directories and reconcile the difference between blocks in memory and on the disk.
Support multiple time unit suffix(case insensitive), as described
in dfs.heartbeat.interval.
</description>
</property>

心跳检测:心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令(如复制块数据到另一台机器,或删除某个数据块)。如果超过10分钟+30秒没有收到某个DataNode的心跳,则认为该节点不可用。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70024433/viewspace-2986642/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: hadoop hdfs api 操作
请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    383
  • 访问量
    247951