ITPub博客

首页 > 大数据 > Hadoop > Hadoop学习记录--(1) Jazz

Hadoop学习记录--(1) Jazz

Hadoop 作者:zelphi 时间:2014-03-07 12:51:13 0 删除 编辑
0、名词介绍:
 HDFS:分布式文件系统(HadoopDistributedFileSystem).
 SecondaryNameNode:

1、Hadoop结构(Master/Slave):
    在Hadoop的系统中,会有一台Master,主要负责NameNode的工作以及JobTracker的工作。JobTracker的主要职责就是启动、跟踪和调度各个Slave的任务执行。还会有多台Slave,每一台Slave通常具有DataNode的功能并负责TaskTracker的工作。TaskTracker根据应用要求来结合本地数据执行Map任务以及Reduce任务。

  是因为其默认的Block为64MB,只要穿上文件,不论大小,即占用一个Block。
   Block大小和副本数由Client端上传文件到HDFS时设置,其中副本数可以变更,Block上传后不可以改变,小文件会占用太多NN的元数据存储.

3、Hadoop是如何检测损害,又如何进行处理?
    DN读取block时会计算checksum,如果其与block创建时不一致,则说明block已损害。
   NN标记block已经损坏,后会复制block达到预期文件备份数。DN会在文件创建三周后检测checksum。

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/12396103/viewspace-1120344/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-10-23