ITPub博客

首页 > 数据库 > PostgreSQL > postgresql安装过程中内核资源的配置

postgresql安装过程中内核资源的配置

原创 PostgreSQL 作者:lusklusklusk 时间:2019-07-01 22:12:47 0 删除 编辑

官方文档https://www.postgresql.org/docs/current/kernel-resources.html 


以下仅针对linux系统 (其他系统请参考上面的官方文档链接),涉及/etc/security/limits.conf、/etc/sysctl.conf、/etc/systemd/logind.conf文件对应的参数


1、共享内存和信号量Shared Memory and Semaphores

修改/etc/sysctl.conf文件,linux一般只修改如下两个参数即可,其中kernel.shmmax值和shared_buffers一样,一般设置为物理内存的40%即可,其他的参数的默认值非常大,通常不需要更改。

kernel.shmmax=XXX

kernel.shmall=XX


SHMMAX:共享内存段的最大大小,单位bytes

SHMALL:可用共享内存的总数,单位bytes的话值和SHMMAX一样,单位是pages的话值等于SHMMAX/PAGE_SIZE


linux查看Block size大小的方法

tune2fs -l /dev/sda1 |grep 'Block size'


linux查看Page size大小的方法

getconf PAGESIZE



2、systemd RemoveIPC

修改/etc/systemd/logind.conf文件,增加RemoveIPC=no即可


在RHEL7.2中,systemd-logind 服务引入了一个新特性,该新特性是:当一个user完全退出os之后,remove掉这个user所有的IPC objects。系统用户除外。“系统用户”由/etc/login.defs中的SYS_UID_MAX设置确定。该特性由/etc/systemd/logind.conf参数文件中RemoveIPC选项来控制。



3、资源限制Resource Limits

修改/etc/security/limits.conf文件,主要是限制每个用户的进程数,每个进程打开的文件数,示例如下

postgres  soft  nproc   2047

postgres  hard  nproc   16384

postgres  soft  nofile  1024

postgres  hard  nofile  65536



4、Linux内存过量使用Linux Memory Overcommit

修改/etc/sysctl.conf文件,增加vm.overcommit_memory=2


Linux对大部分申请内存的请求都回复"yes",以便能跑更多更大的程序。因为申请内存后,并不会马上使用内存。这种技术叫做 Overcommit。当linux发现内存不足时,会发生OOM killer(OOM=out-of-memory)。它会选择杀死一些进程(用户态进程,不是内核线程),以便释放内存。

在Linux 2.4及更高版本中,默认的虚拟内存行为对于PostgreSQL不是最优的。由于内核实现内存过度提交的方式,如果PostgreSQL或其他进程的内存需求导致系统耗尽虚拟内存,内核可能会终止PostgreSQL postmaster(主服务器进程)。如果内存紧张,增加操作系统的交换空间可以帮助避免这个问题,因为只有当物理内存和交换空间耗尽时才会调用内存不足(out- memory, OOM)杀手。如果PostgreSQL本身是导致系统内存不足的原因,那么可以通过更改配置来避免这个问题。最好减少max_connections,而使用外部连接池软件。在Linux 2.6及更高版本上,可以修改内核的行为sysctl -w vm.overcommit_memory=2。

overcommit_memory可选值:0、1、2。

0, 表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。

1, 表示内核允许分配所有的物理内存,而不管当前的内存状态如何。

2, 表示内核允许分配超过所有物理内存和交换空间总和的内存 



5、大页内存Linux Huge Pages

系统支持大页内存的情况下 ,修改/etc/sysctl.conf文件,增加vm.nr_hugepages=XX,即启用大页内存。


PostgreSQL中大页内存的默认行为是尽可能使用它们,并在失败时回退到正常页面 。要强制使用大页内存,可以在postgresql.conf中将huge_pages设置为on。


查看内存是否支持大页内存,cat /proc/meminfo查看是否有PageTables、HugePages_Total、Hugepagesize、HugePages_Free、HugePages_Rsvd等项,如果没有,需要内核配置CONFIG_HUGETLBFS=y、CONFIG_HUGETLB_PAGE=y支持大内存页


确定vm.nr_hugepages值的方法

$ head -1 $PGDATA/postmaster.pid

4170

$ pmap 4170 | awk '/rw-s/ && /zero/ {print $2}'

6490428K

$ grep ^Hugepagesize /proc/meminfo

Hugepagesize:       2048 kB

以上6490428/2048=3170,所以编辑/etc/sysctl.conf文件修改vm.nr_hugepages=3170


oracle的算法

# grep Hugepagesize /proc/meminfo

For example, if /proc/meminfo lists the large page size as 2 MB, and the total SGA size for the instance is 1.6 GB, then set the value for the vm.nr_hugepages kernel parameter to 820 (1.6 GB / 2 MB = 819.2).

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/30126024/viewspace-2649259/,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论
Welcome to Lukes DB HOME。11G OCM, 8年以上DBA工作经验,博客仅记录自己的一个学习过程,不代表完全准确,如有需要,欢迎转载。

注册时间:2015-02-02

  • 博文量
    367
  • 访问量
    447235