ITPub博客

首页 > 数据库 > 国内数据库 > EsgynDB之Bulkload

EsgynDB之Bulkload

原创 国内数据库 作者:joshliu 时间:2021-02-22 15:31:32 0 删除 编辑

    众所周知,Bulkload是数据批量加载强有力的工具,在易鲸捷数据库中,如果想将数据从Hive直接加载进来,一般我们会选择Bulkload的方式,使用语法如下:


    在易鲸捷数据库连接工具Designer或者trafci命令行运行

    load into trafodion.schema_name.table_name select * from hive.hive_dbname.hive_tbname;


    该语句会批量读取hive中内容,然后批量生成hfile,再将hfile移动到易鲸捷表对应的region下。


    举一个实际的例子

     load into jjccb.A1_CHN_TRAN_SER select * from hive.hive . A1_CHN_TRAN_SER

    该语句实际由如下几个单独语句构成


  •     Load cleanup for table jjccb.A1_CHN_TRAN_SER;  --将生成hfile的临时路劲下文件清空,该步运行很快,几乎不消耗时间

  •     Load transform into jjccb.A1_CHN_TRAN_SER select * from hive.hive. A1_CHN_TRAN_SER;

     1) 在临时路劲下生成hfile

    2) 当该语句运行的时候,可以通过offender获取到该语句的qid来查看执行情况

    3) 甚至可以运行命令hadoop fs -ls /user/trafodion/bulkload/TRAFODION.JJCCB.A1_CHN_TRAN_SER/#1来查看hfile生成的情况(可能目录名称中会有namespace,需要适应性修改,但是肯定会在/user/trafodion/bulkload下生成子目录)

    4) 3中路劲,即为生成hfile的临时路劲

    5) 主要Load的耗时都在该步中

  •     当3运行成功之后,运行load complete for table jjccb.A1_CHN_TRAN_SER; --此时会将临时路劲下的hfile移到表对应的region下


    load cleanup/load transform/load complete这三条语句不能单独运行,如果想要单独手工运行,请首先运行cqd comp_bool_226 'on' ;


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69985104/viewspace-2758356/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2020-10-09

  • 博文量
    74
  • 访问量
    30978