ITPub博客

首页 > 大数据 > Hadoop > impala 数据表在集群间迁移方案

impala 数据表在集群间迁移方案

原创 Hadoop 作者:babyyellow 时间:2022-11-01 11:50:15 0 删除 编辑


  1. 登录到神策机器
  2. impala-shell -q "use rawdata;SHOW PARTITIONS  event_ros_p2(表名);" -B -o event_ros_2_partition.txt
    倒出表的分区信息,最后一列是数据存放的目录
    18391  10  -1  1  6.08KB  NOT CACHED  NOT CACHED  PARQUET  false   hdfs://nameservice01/sa/data/2/event/18391/10/.snapshot/20200520_011300-0-1589908380847
  3. impala-shell -q "use rawdata;show create table  event_ros_p2(表名);" -B -o event_ros_p2.sql 导出建表脚本
  4. 把数据取到本地的目录使用 hadoop fs -get  hdfs://nameservice01/sa/data/2/event/18391/10/.snapshot/20200520_011300-0-1589908380847  本地目录
    可以整个目录取,但会有一下没有的临时文件

  5. 使用tar cvf data.tar  本地目录 打包

  6. 使用scp 复制到新集群, tar xvf 包文件名 解包

  7. hadoop fs -put 上传到dfs 对应目录

  8. 在新集群impala-shell 里面用建表脚本建表

  9. 使用命令增加分区 ALTER TABLE event_2 ADD PARTITION (day=19291,event_bucket=0) location '/sa/data/2/event/19291/0/20221027_111536-0-1666840536392';

  10. 进入impala-shell 进行设置 set PARQUET_FALLBACK_SCHEMA_RESOLUTION=name 才能正常查询


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/133735/viewspace-2921261/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: lvs 分区
下一篇: clickhouse 的运维
请登录后发表评论 登录
全部评论
oracle MySQL Postgresql 专职数据库dba。 系统架构师。 mysql 官方认知dba 。 15年专职dba 经验。 潜意识沟通实证者 心理咨询师。 禅修布道者, 禅修指导员。 禅定实证者。

注册时间:2010-12-02

  • 博文量
    367
  • 访问量
    1908639