ODB主要作为数据迁移的一种工具使用,往往大数据量数据迁移时,对性能的要求比较大,该篇文章主要介绍ODB迁移数据时,常见的优化方法
迁移时,指定
loadcmd使用UL方式,即upsert using load;默认情况下是使用IN方式,即insert方式;
insert是单条插入没有并发,UL方式性能更好;
根据迁移表的数据量和集群规模,设置表的分区数
创建表的时候指定DURABILITY = 'SKIP_WAL'
CREATE TABLE TABLE_NAME( ...) SOTORE BY NULLABLE (TRAN_DT ASC,CUST_NO ASC) SALT USING 45 PARTITIONS ATTRIBUTES ALIGNED FORMAT NAMESPACE 'TRAF_1500000' HBASE_OPTIONS ( DATA_BLOCK_ENCODING = 'FAST_DIFF', COMPRESSION = 'SNAPPY', MEMSTORE_FLUSH_SIZE = '1073741824', DURABILITY = 'SKIP_WAL' );
ODBC设置batch方式,即rows的值,设置2000的意思是,单次递交2000条,然后commit,该参数设置为2000时性能较好
将cqd upd_ordered 'off'添加到 defaults表,重启dcs
insert into "_MD_".defaults values('upd_ordered','OFF','upd_ordered',1); ## 重启dcs服务生效
parallel是指定的数据加载的并发量,并发数并不是越大越好,需要根据odb加载机、数据源数据库、目标数据库三方资源情况调整,一般情况下parallel=1会指定两个线程去目标源取数据,一个线程用于将取到的数据加载到目标数据库中;
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69985104/viewspace-2744799/ ,如需转载,请注明出处,否则将追究法律责任。