ITPub博客

首页 > 大数据 > Hadoop > Hadoop学习记录--(2) Jazz

Hadoop学习记录--(2) Jazz

Hadoop 作者:12乐乐123 时间:2014-03-10 12:32:29 0 删除 编辑
1、SecondaryNameNode
是NN的冷备份(即经过修改后可以充当NN使用),不能是热备份(即当NN挂掉后不能直接用来代替NN)。协助NN合并edits log,减少NN启动时间。
      将本地保存的fsimage导入
--> 修改cluster所有的DN的NN地址
-->   修改所有client端的NN地址SNN的地址修改原NNIP。

2、SecondaryNameNode工作原理
Hadoop学习记录--(2)


3、安全模式
Hadoop学习记录--(2)

Hadoop学习记录--(2)
  注:一般使用安全模式是在系统升级、维护的时候。

4、HDFS文件读取流程
(1)读文件
Hadoop学习记录--(2)

(2)取文件
Hadoop学习记录--(2)
Hadoop学习记录--(2)

(3)在写文件的时候,HDFS并不是把数据同时发送到各个DN节点进行存储,而是存储到一个DN节点,然后由其往其他节点进行备份,HDFS等待其备份完全的信息。
(4)文件在HDFS内的地址分配与在NN里的地址分配不同。在NN里不论文件多大,就按相应的整块的Block分配,而在HDFS内,会整里空间。
如:一个156M文件,一个128M文件,Block默认64M,默认备份3份,则在HDFS内分配的空间应为:(156+128)*3.
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/23910712/viewspace-1120343/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-05-14