ITPub博客

首页 > 大数据 > 数据挖掘 > hadoop 集群 跨 版本数据迁移

hadoop 集群 跨 版本数据迁移

原创 数据挖掘 作者:babyyellow 时间:2016-03-04 10:40:24 0 删除 编辑
忙着做hadoop 1.x  到 2.x 的数据迁移. 


hadoop 系统提供 了一个 命令  distcp  可以跨版本 迁移数据.  


具体的命令格式:  在新的hadoop 版本上执行 . 

两个集群间的所有的主机hosts 文件里要把对方的集群节点的主机名配置上去. 因为是mapreduce 作业,不然会job 失败. 


在 hadoop 2.x 上执行 .

hadoop  distcp  hftp://hadoop1.x-namenode:50070/xxxx/xxx/xxx*    /path-to-hadoop2.x/xxx/xxx



注意这里用的hftp 协议   ,不是hdfs 协议, hdfs 协议两边不通的.


如果你 hadoop 2.x  是默认安装的 还有个地方需要修改 , 不然会报文件校验 checksum 报错. 无法复制. 

hadoop  1.x  的文件校验用的crc32  

hadoop 2.x  的文件校验用的CRC32C  两个版本的hadoop 的校验方法不同,会报错.无法迁移数据. 


在hadoop  2.x  hdfs-site.xml 里增加 一个配置. 


<property>
<name>dfs.checksum.type</name>
<value>CRC32</value>
<description>
    when  transfer data from  hadoop 1.x to hadoop 2.x  the data block  checksum  in hadoop 1.x is crc32
      and  hadoop 2.x is crc32c .   transfer data will fail .
</description>
</property>

然后就ok 了.  

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/133735/viewspace-2036119/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
oracle MySQL Postgresql 专职数据库dba。 系统架构师。 mysql 官方认知dba 。 15年专职dba 经验。

注册时间:2010-12-02

  • 博文量
    248
  • 访问量
    1472270