ITPub博客

首页 > 数据库 > > OushuDB 知识点

OushuDB 知识点

作者:gaokeke123 时间:2022-04-06 14:25:53 0 删除 编辑

丰富sql 可用于复杂查询分析

https://blog.csdn.net/wzy0623/article/details/79898507



distinct /group by 会产生大量的临时文件,导致磁盘负载上升,最终可导致集群崩溃等

任何数据库都会产生临时文件,当内存文件不足的时间,临时文件就会存放在磁盘,磁盘不足会导致进程终止

select * from pg_stat_activity 可查看连接进程

a 是唯一键
ac12 有30亿的数据,因为etl进程中断,倒置重复插入数据插入两次,ac12的数据是源表数据的两倍,70亿
需要工作,将ac12数据去重
难点:数据量大,磁盘有限,计算量大,容易数临时文件过多占满磁盘,数据倾斜

解决方法,生成唯一列键
给ac12生成唯一列键 numrow
select * from
insert into ac12_new select a,b,c from ac12_tmp where numrow in (select max(numrow) from ac12_tmp group by a )



oushudb 压力测试
————————————————
版权声明:本文为CSDN博主「简从。」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/m0_38079848/article/details/84985664

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26692020/viewspace-3165806/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
大家好

注册时间:2013-08-14

  • 博文量
    1432
  • 访问量
    31622