ITPub博客

首页 > 数据库 > 国内数据库 > 【YashanDB 知识库】手工迁移 Doris 数据到崖山分布式

【YashanDB 知识库】手工迁移 Doris 数据到崖山分布式

原创 国内数据库 作者:崖山数据库系统YashanDB 时间:2025-01-21 17:51:06 0 删除 编辑

- Doris 默认查询超时时长为 3600 秒,此处改大,防止查询时间不够

set query_timeout = 36000;

 设置支持并发导出 

set enable_parallel_outfile = true;

-- 导出条数默认限制为 200 条,需要改大 

-- 因为崖山和 Doris 对 null 值处理的不同(Doris 的 null 值导出为 \N),Date 和数字类型为 null 时需要转换(Date 类型为 null 时需要转成空串,数字类型为 null 时需要转成 0) 

select nvl(user_id, 0), nvl(dt, ‘’), city, nvl(age, 0), nvl(sex, 0), nvl(last_visit_date, ‘’), nvl(cost, 0), nvl(max_dwell_time, 0), nvl(min_dwell_time, 0)

select nvl(user_id, 0), nvl(dt, ‘’), city, nvl(age, 0), nvl(sex, 0), nvl(last_visit_date, ‘’), nvl(cost, 0), nvl(max_dwell_time, 0), nvl(min_dwell_time, 0) from example_db.example_tbl_agg1 LIMIT 1000000000

INTO OUTFILE " file:///data/example_tbl_agg1/result_"

FORMAT AS CSV

PROPERTIES

(

"column_separator" = "|", -- 列分隔符改成 |,防止数据中也存在默认的分隔符逗号

"line_delimiter" = "\n"

);


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70028812/viewspace-3070158/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
崖山数据库系统YashanDB是深圳计算科学研究院完全自主研发设计的新型数据库系统,融入原创理论,支持单机/主备、共享集群、分布式等多种部署方式,覆盖OLTP/HTAP/OLAP交易和分析混合负载场景,为客户提供一站式的企业级融合数据管理解决方案。

注册时间:2023-04-11

  • 博文量
    722
  • 访问量
    639963