动态共享内存是 A n t D B 数据库通信的重要手段，本文主要阐述 A n t D B - T 数据库动态共享内存的实现原理、实现方式与使用方法。

A n t D B - T 数据库是一款企业级通用分布式关系型数据库，其数据库内核是基于进程模型实现的，因此进程间通信（ I P C ）是实现分布式架构间进行任务协作和数据共享的关键。

实现进程间通信的方式有多种，例如管道、消息队列、信号量、共享内存等。在程序运行过程中， A n t D B - T 数据库为了实现进程之间更高效的通信和数据传输，采用了共享内存的方式。例如， A n t D B - T 数据库在并发任务需要创建多个工作进程的情况下，工作进程与后端进程之间的通信和数据传输将通过动态创建的共享内存来实现。

（一） A n t D B - T 动态共享内存实现原理

那接下来本部分内容就为各位小伙伴慢慢解析 A n t D B - T 数据库动态共享内存的原理。

A n t D B - T 动态共享内存是什么

动态共享内存（ d y n a m i c s h a r e d m e m o r y ）：简称 D S M ，在数据库运行期间可以动态创建出来的共享内存，动态共享内存允许 A n t D B - T 在运行时动态地分配和释放内存，从而提高系统的性能和可伸缩性。

A n t D B - T 中动态共享内存实现方式

在 A n t D B - T 中动态共享内存的实现方式有多种，由 d y n a m i c _ s h a r e d _ m e m o r y _ t y p e 参数控制，默认是 p o s i x 是指使用 s h m _ o p e n 分配的 P O S I X s h a r e d m e m o r y 。

图 1 ： d y n a m i c _ s h a r e d _ m e m o r y _ t y p e 配置参数

d y n a m i c _ s h a r e d _ m e m o r y _ t y p e 参数定义如下表：

参数名称	d y n a m i c _ s h a r e d _ m e m o r y _ t y p e
数据类型	e n u m
默认值	p o s i x
取值范围	{ p o s i x , s y s v , m m a p , w i n d o w s } 其中 p o s i x , s y s v , m m a p 适用于 L i n u x 平台； w i n d o w s 适用于 W i n d o w s 平台
参数含义	指定 P o s t g r e S Q L 使用的 d y n a m i c s h a r e d m e m o r y 的实现方式。 p o s i x 是指使用 s h m _ o p e n 分配的 P O S I X s h a r e d m e m o r y ; s y s v 是指使用 s h m g e t 分配的 S y s t e m V s h a r e d m e m o r y ； w i n d o w s 是指 W i n d o w s s h a r e d m e m o r y ； m m a p 是指使用存在的 d a t a d i r e c t o r y 中的 m e m o r y - m a p p e d f i l e s 模拟的 s h a r e d m e m o r y 。通常不鼓励使用 m m a p 值，这在任何平台上都不是默认值，因为操作系统可能会反复将修改过的页面写回磁盘，从而增加系统 I / O 负载；但是，当 p g _ d y n s h m e m 子目录存储在 R A M 磁盘上，或者其他共享内存工具不可用时，它可能对调试有用。
是否可 s e s s i o n 级修改	否
修改后何时生效	重启 A n t D B - T i n s t a n c e 生效

启用动态内存共享之后，当 A n t D B - T 数据库启动后会在 / d e v / s h m 目录下有所体现 , 关了 A n t D B - T 数据库之后，这些文件就没有了：

图 2 ： A n t D B - T 数据库启动后 / d e v / s h m 目录情况

图 3 ： A n t D B - T 数据库关闭后 / d e v / s h m 目录情况

A n t D B - T 为什么要引入动态共享内存

动态共享内存可以在运行时动态地分配和释放内存，从而使得内存管理更加灵活和高效，并且动态共享内存还可以实现延迟初始化（ l a z y i n i t i a l i z a t i o n ）和重新配置（ r e c o n f i g u r a t i o n ）等特性，从而提高了系统的性能和可伸缩性。

在实际 A n t D B - T 数据库中，动态共享内存在很多地方会用到，举个例子比如动态共享内存在并行中会用到，因为对于并行查询而言，执行时创建的 D N w o r k e r 进程与 D N l e a d e r 进程通过共享内存实现数据交互。但这部分内存无法像普通的共享内存那样在系统启动时预先分配，毕竟直到真正执行时才知道有多少 D N w o r k e r 进程，以及需要分配多少内存。动态共享内存，即在执行时动态创建，用于 D N l e a d e r 与 D N w o r k e r 间通信，执行完成后释放。

（二） A n t D B - T 动态共享内存实现方式

下面将针对动态共享内存机制进行源码说明。本次以 A n t D B - T 的代码为例，来解析动态共享内存的实现方式。

在 A n t D B - T 源码中， d s m . c 、 d s m _ i m p l . c 文件提供了动态共享内存的功能，实现了共享内存的动态申请和释放。动态共享内存通过一个 h a n d l e （ t y p e d e f u i n t 3 2 d s m _ h a n d l e ; ）与一块内存进行映射，这个 h a n d l e 是一个 3 2 位无符号整数。在创建动态共享内存时，需要指定一个 h a n d l e 作为标识符，而访问动态共享内存时也是通过这个 h a n d l e 进行访问。不同进程之间通过传递 h a n d l e 来告知对方动态共享内存的位置，其他进程则通过 h a n d l e 来访问该动态共享内存。

1 . 基础数据结构

d s m _ c o n t r o l _ h e a d e r 和 d s m _ c o n t r o l _ i t e m 是动态共享内存里最基础的 2 个数据结构。定义如下图所示：

图 4 ： d s m _ c o n t r o l _ h e a d e r 和 d s m _ c o n t r o l _ i t e m 数据结构

d s m _ c o n t r o l _ h e a d e r 是动态共享内存的控制结构头， d s m _ c o n t r o l _ i t e m 记录每个分配的动态共享内存的状态，字段 n i t e m s 表示动态共享内存当前已经使用的数量，字段 m a x i t e m s 表示动态共享内存的最大数量，字段 r e f c n t 表示 / * 2 + = a c t i v e , 1 = m o r i b u n d , 0 = g o n e * / ，字段 i m p l _ p r i v a t e _ p m _ h a n d l e 表示仅在 W i n d o w s 上需要，字段 p i n n e d 表示是否固定动态共享内存段， d s m _ h a n d l e 表示动态共享内存段的名字。

d s m _ s e g m e n t 表示申请的一个共享内存段，对于动态共享内存的 a p i 来说这是代表共享内存的最小单位，定义如下图所示：

图 5 ： d s m _ s e g m e n t 数据结构

每个后端进程都可以通过使用 d s m _ s e g m e n t 来访问共享内存， d s m _ s e g m e n t 包含了内存分配和释放等操作所需的信息，并提供了一组函数来管理和操作共享内存，每个会话（ s e s s i o n ）可以有一个或多个 d s m _ s e g m e n t 。其中字段 m a p p e d _ a d d r e s s 代表需要返回的当前映射共享内存的起始地址，字段 r e s o w n e r 表示该动态共享内存段资源所有者， c o n t r o l _ s l o t 表示在控制动态共享内存段（ d s m _ c o n t r o l _ h e a d e r ）里面的第几个 i t e m 。

2 . 初始化 A n t D B - T 动态共享内存（ D S M ）

在 p o s t m a s t e r 主进程启动时，调用 d s m _ p o s t m a s t e r _ s t a r t u p ( P G S h m e m H e a d e r * s h i m ) 函数，进行动态共享内存相关的初始化，其主要逻辑如下：

1 ) 计算 d s m _ c o n t r o l 结构所需要的内存大小：

1 > 计算所需共享内存的最大数量 m a x i t e m s ，

maxitems=PG_DYNSHMEM_FIXED_SLOTS+ PG_DYNSHMEM_SLOTS_PER_BACKEND * MaxBackends =64+5* MaxBackends

其中： P G _ D Y N S H M E M _ F I X E D _ S L O T S 为 6 4 ， P G _ D Y N S H M E M _ S L O T S _ P E R _ B A C K E N D 为 5

该值（ m a x i t e m s ）与 M a x B a c k e n d s 大小有关， M a x B a c k e n d s 为最大的 b a c k e n d 进程的数量，和配置的最大连接数（ m a x _ c o n n e c t i o n s ）、 a u t o v a c u u m w o r k e r 进程的最大个数 ( a u t o v a c u u m _ m a x _ w o r k e r s ) 、并发进程的最大数量（ m a x _ w o r k e r _ p r o c e s s e s ）、 w a l s e n d e r p r o c e s s 的最大数量有关。

2 > 根据 m a x i t e m s 计算 d s m _ c o n t r o l 结构所需要的内存大小 s e g s i z e ，

segsize = dsm_control_bytes_needed(maxitems);

其中函数 d s m _ c o n t r o l _ b y t e s _ n e e d e d 定义：

static uint64dsm_control_bytes_needed(uint32 nitems){      return offsetof(dsm_control_header, item)            + sizeof(dsm_control_item) * (uint64) nitems;}

2 ) 调用 d s m _ i m p l _ o p ( ) 函数，该函数根据 d y n a m i c _ s h a r e d _ m e m o r y _ t y p e 参数调用不同的接口创建用于 d s m _ c o n t r o l 结构的动态共享内存，地址赋值给 d s m _ c o n t r o l 变量，该变量的类型为 d s m _ c o n t r o l _ h e a d e r 。

3 ) 初始化 m a g i c 、 n i t e m s 、 m a x i t e m s 变量，其中 m a x i t e m s 表示 A n t D B - T 该 D N 节点所有进程能够申请的动态共享内存的最大数量， n i t e m s 表示当前已使用的动态共享内存数量，每一次动态共享内存申请，对应一个 d s m _ c o n t r o l _ i t e m 。

其函数大致调用关系如下：

main(int argc, char *argv[])PostmasterMain(int argc, char *argv[])reset_shared(void)CreateSharedMemoryAndSemaphores(void)dsm_postmaster_startup(PGShmemHeader *shim)

3 . 清理 A n t D B - T 动态共享内存（ D S M ）

在 p o s t m a s t e r 主进程关闭时，会调用 d s m _ p o s t m a s t e r _ s h u t d o w n ( ) 函数进行 d s m 的清理，这个函数是在初始化动态共享内存（ d s m _ p o s t m a s t e r _ s t a r t u p ( ) ）时就指定了 o n _ s h m e m _ e x i t ( d s m _ p o s t m a s t e r _ s h u t d o w n , P o i n t e r G e t D a t u m ( s h i m ) ) ；

清理动态共享内存的主要逻辑：首先检查动态共享内存段是否已经损坏，如果损坏了就记录错误日志直接返回，如果没有损害时就遍历 d s m _ c o n t r o l - > n i t e m s 数组，对其中正在使用的 i t e m 对应的动态共享内存（ D S M ）进行销毁，最后再销毁 d s m _ c o n t r o l 自身对应的动态共享内存（ D S M ）内存。

（三） A n t D B - T 动态共享内存实践分享

使用动态共享内存之前，需要先对其进行创建。 A n t D B - T 启动时已经初始化好了动态共享内存，后面使用的时候只需要创建动态共享内存，挂载动态共享内存，解除挂载动态共享内存，销毁共享内存。 A n t D B - T 数据库使用动态共享内存的地方有很多，下面举个最简单的并行查询的例子来解说下如何使用动态共享内存，举例的表字段和并行查询的执行计划如下图所示：

图 6 ： A n t D B - T 并行查询的例子

可以从上图的执行计划里面明确看到有使用到了并行查询，并且并行的 w o r k e r 个数是 2 。先进行简单的并行查询的原理介绍，图如下所示： D N b a c k e n d 主进程拉起从进程， D N b a c k e n d 主进程在处理时，发现需要进行并行处理，就会在启动从进程时，会调用 L a u n c h P a r a l l e l W o r k e r s 函数，这个函数会调用 R e g i s t e r D y n a m i c B a c k g r o u n d W o r k e r ，此时会给 P o s t m a s t e r 进程发一个信号，请求 P o s t m a s t e r 进程启动一个 b a c k g r o u n d 进程， P o s t m a s t e r 进程收到信号后就会启动一个新后台进程来处理查询。

图 7 ： A n t D B - T 并行查询的流程

在 A n t D B - T 的源码中，上述 S Q L 例子在并行查询中使用动态共享内存（ D S M ），其主要逻辑如下：

1 . D N b a c k e n d 主进程在判断需要进行并行处理时，就会初始化并行执行计划 E x e c I n i t P a r a l l e l P l a n ，在 E x e c I n i t P a r a l l e l P l a n 函数中，会评估共享内存大小：通过使用 s h m _ t o c _ e s t i m a t e _ c h u n k 、 s h m _ t o c _ e s t i m a t e _ k e y s 宏定义向 e s t i m a t e 中增加数据结构，可以多次调用，然后使用 s h m _ t o c _ e s t i m a t e 得出需要创建的动态共享内存的总大小，最后调用 d s m _ c r e a t e ( ) 函数创建动态共享内存（ D S M ）。创建并行的工作进程时，将动态共享内存（ D S M ）对应的 h a n d l e 作为参数传递给并行的 w o r k e r 进程，其调用关系如下：

ExecGather(PlanState *pstate)ExecInitParallelPlan(PlanState *planstate, EState *estate,                               Bitmapset *sendParams, int nworkers,                               int64 tuples_needed)InitializeParallelDSM(ParallelContext *pcxt)dsm_create(Size size, int flags)LaunchParallelWorkers(ParallelContext *pcxt)worker.bgw_main_arg = UInt32GetDatum(dsm_segment_handle(pcxt->seg));

2 . 并行的子进程（ D N w o r k e r 进程）先调用 d s m _ a t t a c h ( ) 函数挂载到动态共享内存，然后调用函数 P a r a l l e l Q u e r y M a i n 处理查询业务该函数里面使用了动态共享内存，当并行的子进程执行结束时，会调用 d s m _ d e t a c h ( ) 函数解除挂载的 d s m 共享内存，其大致的调用关系如下：

ParallelWorkerMain(Datum main_arg)seg = dsm_attach(DatumGetUInt32(main_arg));ParallelQueryMain(dsm_segment *seg, shm_toc *toc)area = dsa_attach_in_place(area_space, seg);dsa_detach(area)dsm_detach(area->segment_maps[i].segment);

总结

本文主要讲述了 A n t D B - T 动态共享内存的基本概念、引入动态共享内存带来的能力提升、基本数据结构、动态共享内存机制原理和使用方法。限于篇幅，动态共享内存的其他函数接口比如： d s m _ p i n _ m a p p i n g 、 d s m _ u n p i n _ m a p p i n g 、 d s m _ p i n _ s e g m e n t 、其他使用动态共享内存的场景、动态共享内存中涉及的锁等相关内容没有涉及，小伙伴们请持续关注 A n t D B 数据库公众号。

关于 A n t D B 数据库

A n t D B 数据库始于 2 0 0 8 年，在运营商的核心系统上，为全国 2 4 个省份的 1 0 亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

ITPub博客

解锁数据库运维秘籍：掌握AntDB-T动态共享内存，提升进程间通信效率

最新文章