ITPub博客

首页 > 数据库 > SQL on Hadoop > EsgynDB数据库odb工具常见优化

EsgynDB数据库odb工具常见优化

原创 SQL on Hadoop 作者:joshliu 时间:2020-12-23 18:56:01 1 删除 编辑

ODB主要作为数据迁移的一种工具使用,往往大数据量数据迁移时,对性能的要求比较大,该篇文章主要介绍ODB迁移数据时,常见的优化方法

1、指定loadcmd=UL

迁移时,指定 loadcmd使用UL方式,即upsert using load;默认情况下是使用IN方式,即insert方式; insert是单条插入没有并发,UL方式性能更好;

2、EsgynDB中表分区

根据迁移表的数据量和集群规模,设置表的分区数

3、关闭表上的WAL

创建表的时候指定DURABILITY = 'SKIP_WAL'

CREATE TABLE TABLE_NAME(
...)
SOTORE BY NULLABLE (TRAN_DT ASC,CUST_NO ASC)
SALT USING 45 PARTITIONS
ATTRIBUTES ALIGNED FORMAT NAMESPACE 'TRAF_1500000'
HBASE_OPTIONS
(
DATA_BLOCK_ENCODING = 'FAST_DIFF',
COMPRESSION = 'SNAPPY',
MEMSTORE_FLUSH_SIZE = '1073741824',
DURABILITY = 'SKIP_WAL'
);

4、指定rows=2000

ODBC设置batch方式,即rows的值,设置2000的意思是,单次递交2000条,然后commit,该参数设置为2000时性能较好

5、可以考虑关闭排序

将cqd upd_ordered 'off'添加到 defaults表,重启dcs

insert into "_MD_".defaults values('upd_ordered','OFF','upd_ordered',1); ## 重启dcs服务生效

6、设置parallel=8

parallel是指定的数据加载的并发量,并发数并不是越大越好,需要根据odb加载机、数据源数据库、目标数据库三方资源情况调整,一般情况下parallel=1会指定两个线程去目标源取数据,一个线程用于将取到的数据加载到目标数据库中;

7、CDH性能调优(待整理)

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69985104/viewspace-2744799/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2020-10-09

  • 博文量
    78
  • 访问量
    74236