0、名词介绍:
HDFS:分布式文件系统(HadoopDistributedFileSystem).
SecondaryNameNode:
1、Hadoop结构(Master/Slave):
在Hadoop的系统中,会有一台Master,主要负责NameNode的工作以及JobTracker的工作。JobTracker的主要职责就是启动、跟踪和调度各个Slave的任务执行。还会有多台Slave,每一台Slave通常具有DataNode的功能并负责TaskTracker的工作。TaskTracker根据应用要求来结合本地数据执行Map任务以及Reduce任务。
是因为其默认的Block为64MB,只要穿上文件,不论大小,即占用一个Block。
Block大小和副本数由Client端上传文件到HDFS时设置,其中副本数可以变更,Block上传后不可以改变,小文件会占用太多NN的元数据存储.
3、Hadoop是如何检测损害,又如何进行处理?
DN读取block时会计算checksum,如果其与block创建时不一致,则说明block已损害。
NN标记block已经损坏,后会复制block达到预期文件备份数。DN会在文件创建三周后检测checksum。