ITPub博客

首页 > 数据库 > 数据库开发技术 > 杭州数据库参会简报

杭州数据库参会简报

原创 数据库开发技术 作者:象楚之行 时间:2024-07-16 08:00:00 0 删除 编辑

原计划5月举办的第13届PostgreSQL中国技术大会改期到7月12日和13日,恰逢两天阴闷小雨,今年参会人数有所下降,但熟悉的面孔蛮多。

大会两天一共9个场次,60多个主题分享,我是第2天下午的第2场,分享了PG里一些有趣的案例,有的也在公众号文章写过,有兴趣朋友可以关注我的公众号。

我大概关注了20多个分享主题,下面按个人的理解和观点简单进行分享。

Bruce的分享:Making Postgres Central in Your Data Center

Bruce分享的主题是:Making Postgres Central in Your Data Center,演讲材料链接

https://momjian.us/main/presentations/extended.html

由于存在语言文化差异,老爷子讲的内容比较干燥通用,有些内容甚至比较古老,例如下面这张图:

他对系统字典表按不同颜色做的一些抽象分类很受启发,我也计划对照16或17新版本进行重新梳理

Amit的分享:PostgreSQL 17 and beyond

Amit分享的主题PostgreSQL 17 and beyond刚在今年PG全球开发者大会讲过,材料链接可以从PGConf.dev大会官网链接下载:

https://www.pgevents.ca/events/pgconfdev2024/sessions/

Amit大佬纯正的口音与分享内容一样浓郁,他介绍了17版本即将到来的一些主要特性以及社区对18的一些展望工作。

下面是17的一些主要特性列表:

  • 基于WAL summary文件的增量备份

  • vacuum对死元组的内存改进及性能优化

  • 数据块批量读及AIO流接口

  • 基于磁盘缓存的SLRU分支治理

  • 逻辑复制故障转移及在线升级

  • 分区表的合并和拆分管理

  • 分区表对identity columns和排它约束的支持

  • BRIN索引的并行

  • 内置的collation provider

  • 上个版本被延的系统维护角色pg_maintain

  • 上上版本逐步重新纳管的SQL/JSON函数

  • ALTER SYSTEM的安全增强

关于17的新特性预览,我在公众号陆陆续续也写了一些文章,比如最近的这篇<<PostgreSQL 17高光特性:原厂locale来了>>,得到了大家较多的关注。

最后大家对Amit大佬也提问18到底能不能实现64位xid表达了殷殷关切之情。

腾讯云施老师的分享:TencentDB for PG 内核原理揭秘

施老师对比介绍了TencentDB对PG的一些内核改进,主要包括:

  • 进程级监控,同时提供tencentdb_process_system_usage视图供⽤户查询

  • 内核审计日志,对log_statement=all和pgaudit插件的性能优化,减少操作系统的pipe锁争抢

  • 冷热存储分离,cos_fdw对象存储插件

  • 逻辑复制故障转移,借助WAL record里的info结构保持与大版本兼容,同时使用tencentdb_failover_slot插件进行主备同步

天翼云李老师的分享:天翼云下一代分布式数据库的探索和实践

基于中国电信业务需求,TeleDB从中间件分布式数据库向下一代分布式数据库架构演进,天翼云已上线pg实例几千套,下面是TeleDB分布式的几个关键技术点:

  • Remote Data Access解决进程数暴增问题

  • DDS实时死锁检测及pg_unlock插件3秒内解锁,CPU使用率大幅度降低

  • 全局共享cache,最大化内存资源利用率,内存资源节省超50%

  • 存储引擎:PAX列存、XStore行存、基于第三方插件的Vector Store

Hash Data马老师的分享:PostgreSQL分布式数据库的开源新选择—CloudberryDB

Greenplum闭源已成近期热点,Cloudberry接棒Greenplum继续前行,下面是Cloudberry的一些关键新增特性:

Cloudberry已经开源的特性如下:

  • 轻松升级 PostgreSQL 内核版本

  • 统一管理非结构化数据,引入Directory Table

  • 安全增强

  • 集群弹性扩缩容

  • 优化性能:推聚集运算、增量物化视图、自动物化视图支持查询优化、使用 RuntimeFilter 优化 HashJoin 查询性能、动态分区消除、针对不同运算符在查询不同阶段予以释放或重新分配内存、并发创建索引、并发执行查询、AO/AOCO 索引扫描(IndexScan)支持,以及提供基于规则的查询优化手段和基于代价的查询优化手段帮助用户生成更高效的查询执行计划等

其他部分特性也在准备开源中…

易景科技章总的分享:关于PostgreSQL性能改进的几点思路

章总介绍了HaloDB解决PG性能的两个问题,第一个是通过statement_sharing参数实现查询树泛化引入SQL软解析的能力,并给出了pgbench性能压测对比数据。

第二个是针对update操作导致数据块膨胀,使用TUU(Tuple-level Update-only Undo)表级技术方案来解决数据块不膨胀。

太阳塔科技赵老师的分享:PostgreSQL量化调优

赵老师详细介绍了执行计划顺序扫描和排序的公式,引导我们根据公式来进行调试,如何降低成本或消除部分项。另外也介绍了一个20T大表的复杂SQL的优化案例,并给出优化的两个正反方向:要么加大对硬件资源的使用,要么减小对硬件资源的使用。

还有一些其他的主题,如实时数仓、时序场景、数据实时同步等,可以关注PG中文社区公众号的进一步分享。

原文作者:象楚之行;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2018-06-12

  • 博文量
    102
  • 访问量
    50360