ITPub博客

Hadoop如何设置HDFS的块大小

原创 数据分析 作者:chenfeng 时间:2017-03-27 17:38:10 0 删除 编辑
  HDFS是设计来存储和管理大数据的,因此典型的HDFS块大小明显比平时我们看到的传统文件系统块大得多,块大小的设置用来将大文件切割成一个数据块,再将这些数据块分发到集群上,例如集群的块大小设置为64MB,一个128MB的文件上传到HDFS上,HDFS会将这个文件切分成2(128/64)个数据块,再将这两块数据分发到集群的数据节点上。
设置块大小:
打开hdfs-site.xml,(在hadoop安装目录下的conf文件夹里)
操作步骤:
设置hdfs-site.xml下面的属性值:
<property>
<name>dfs.block.size</name>
<value>134217728</value>    --修改为128M
<description>Block size</description>
</property>


修改说明:
hdfs-site.xml是HDFS的配置文件,修改hdfs-site.xml配置文件的dfs.block.size属性值就会改变上传到HDFS所有文件的默认块大小。修改这个值并不会对HDFS上现存的任何文件的块大小产生影响,只会改变新上传文件的块大小。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/15498/viewspace-2136139/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
交流MySQL,MongoDB和Redis技术。 微信或QQ:410294

注册时间:2015-12-07

  • 博文量
    657
  • 访问量
    1379655