ITPub博客

使用资源组入库OOM

解密PG/GPDB Merge Inner Join机制

PostgreSQL 15: stats collector进程优化掉了PG15对统计进行了重大改进。将stats collector进程优化掉了，不再将统计数据放入临时文件中，而是放到共享内存中，在shutdown前由checkpoint进程将其持久化，启动时由startup进程将其加载。减少了IO和进程间通信，从而改进性能。正文尝试使用PG15的用户都会发现有一个后台进程消失了：postgre

向量化执行使表达式性能提升10倍成为可能查询执行引擎对数据库系统性能非常重要。TIDB是一个开源兼容MySQL的HTAP数据库，部署广泛使用的火山模型来执行查询。不幸的是，当查询一个大库时，向量化模型会造成较高的解释开销以及较低的CPU CACHE命中率。受MonetDB/X100: Hyper-Pipelining Query Execution论文启发，在TIDB中部署向量化执行引擎以提高查询

PostgreSQL透明数据加密Cybertec为PG提供了一个透明数据加密（TDE）的补丁。是目前唯一支持透明加密数据（集群）级的实现，独立于操作系统或文件系统加密。透明数据加密如何工作补丁背后的思想是：以加密格式（静态加密）安全存储组成PG集群的所有文件到磁盘上，从磁盘读取时解密数据块。数据在内存中未加密。只需要数据库初始化时加密，启动时服务器可以访问初始化数据库使用的密钥。通过一个指定的配置

PostgreSQL 14中连接参数target_session_attrs增强本文讨论PostgreSQL 14数据库连接参数target_session_attrs增强的功能，并解释该功能背后的历史、如何使用它以及它提供的各种好处。背景很多PG客户端程序使用C客户端libpq库访问数据库。libpq提供了一系列函数，允许连接PG后台服务并将查询传送过去，同时还可以接收查询返回的结果。通过lib

PG 向量化引擎--2向量化引擎是OLAP数据库提升性能的有效技术。翻到PostgreSQL邮件列表有对向量化引擎的讨论。这里继续进行整理，以作分析。关于设计中的几个问题1、在vtype中使用原生数组而不是Datum数组会更有效吗？我认为针对float4和int32类型的操作，它将允许编译器产生更加有效的代码是的，我也在考虑扫描列存时，将列batch加载到连续的内存区域中。对于Int32，此区域大

PG 向量化引擎向量化引擎是OLAP数据库提升性能的有效技术。翻到PostgreSQL邮件列表有对向量化引擎的讨论。这里进行整理，以作分析。作者邮件代码位于https://github.com/zhangh43/vectorize_engine ，并且合入了PG13中。其基本思想是扩展TupleTableSlot，引入VectorTupleTableSlot（一个由投影列组织的列数组）。

PostgreSQL 14中TOAST的新压缩算法LZ4，它有多快？对于列压缩选项，PostgreSQL 14提供了新的压缩方法LZ4。与TOAST中现有的PGLZ压缩方法相比，LZ4压缩更快。本文介绍如何使用整个选项，并和其他压缩算法进行性能比较。背景PG中，页是存储数据的单位，默认是8KB。一般情况下，一行数据不允许跨页存储。然而，有一些变长的数据类型，存储的数据可能超出一页大学。为了克服整个

Spitfire:易失和非易失性内存的三层buffer管理Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory机制1、cache line page 将page分割成cache line大小，一个cache line为64字节。由于PM可以字节寻址，所以可以以cache line的粒度进行读写

本文介绍NVM WAL BUFFER的email list，详细了解开发者对此的讨论，以此深入 了解机制。

介绍几种获取PG文件大小的几种方式及不同

第一届「中国云计算基础架构开发者大会」（以下简称 CID）将在 2020 年 10 月 25 日举办。会中看到有新硬件PM结合RDMA的议题，这是数据库方面前沿技术，对下一代数据库发展有重要影响。听后进行总结。

libpmem库主要特性是提供一种将脏数据刷写到持久内存的方法。常用的函数主要包括pmem_flush、pmem_drain、pmem_memcpy_nodrain

介绍PG密码安全相关问题

介绍sigmod上数据库基于新硬件PM的论文，创造性地提出cache line page以进一步减小写放大，以提升性能。

本文介绍启动时pid文件即锁文件的处理

PMDK进行创建文件时调用函数pmem_map_file，而这个函数底层调用mmap，那么这个PMDK和操作系统函数调用有何不同呢？

《非易失性内存数据库管理系统》的作者采访

本文介绍持久内存编程