ITPub博客

首页 > 数据库 > MySQL > PostgreSQL vacuum原理—vacuum揭秘

PostgreSQL vacuum原理—vacuum揭秘

MySQL 作者:shuhujiaolong 时间:2015-12-02 18:59:24 0 删除 编辑

    在前面两个章节中,我们讲了vacuum的一些重要参数“PostgreSQL vacuum原理一功能与参数”以及PG发起vacuum的流程“PostgreSQL vacuum原理—启动机制”。这个章节我们重要讲下vacuum 的实现,

主要分为vacuum full和lazy vacuum。

 

1.vacumm full

    vacuum full会锁表和索引,而且是“AccessExclusiveLock”级别的。其实vacuum full会重建整个表,这个的功能实现在cluster.c文件中,因为其行业相当于是一个cluster重建的一个变种。

建临时表阶段:PG会新表一个以”pg_temp_%u”的临时表,临时表继承老表所有属性。”%u”是老表的OID。如果用户表有名字与这个临时表相同的,那么就会失败。另外临时表的OID是relfilenode。 这个阶段,会对pg_class申请“RowExclusiveLock”锁,因为需要插入条目;也会做表名检查,检查是否与现有表名冲突。

copy数据阶段:然后将原来的数据copy到temp表中。对临时表,老表以及索引都以“AccessExclusiveLock”模式打开。另外对于toast,只是lock,不打开。在这个过程中完成Dead Tuple的清理。

swap表阶段:最后做一个swap table操作,新表将老表替换掉。交换只是将物理文件进行交换。reltablespace和relfilenode进行交换,会对pg_class再次申请“RowExclusiveLock”锁。

重建索引阶段:是在交换之后完成的,重建索引时,会更新一些统计信息。对表申请“ShareLock”锁。

删除临时表阶段:索引重建完成后,将带有老物理文件的新临时表进行删除。

 

image

 

2. lazy vacumm

    PG在lazy vaccum之前,会先判断此次vacuum是full scan还是part scan。判断靠vacuum_freeze_table_age参数,它只与newest xid和relfrozenxid比较,

公式为:relfrozenxid < newestxid - vacuum_freeze_table_age

演变后:vacuum_freeze_table_age < newestxid - relfrozenxid

vacuum_freeze_table_age默认值为150million。因此如果一个表在pg_class中的relfrozenxid比newestxid小150million时,就会触发全表扫描,完成后更新pg_class中的relfrozenxid。

vacuum_freeze_table_age的最大值是0.95*autovacuum_freeze_max_age。

新的冻结relfroenxid的计算需要靠以下公式的运算结果来判断:

oldestXmin – vacuum_freeze_min_age <(newestxid - autovacuum_freeze_max_age)

上面公式演变后成: autovacuum_freeze_max_age - vacuum_freeze_min_age < newest xid – oldestXmin

relfrozenxin取值? 公式成立 公式不成立
full scan oldestXmin,说明oldestXmin过老 oldestXmin-vacuum_freeze_min_age,如果是负值,返回3
part scan 0 0

从上面可以知道,part scan是不会更新pg_class中的relfrozenxid值的,只有full scan会去更新。原因很简单,part scan实际上只是清理dead tuple,FSM(Free Space Map)和标记visibility map。
默认情况下,autovacuum_freeze_max_age 的值为200million,vacuum_freeze_min_age 为50million。那也就是说oldest xid与newest xid的差距不能大于150million。

否则,PG就认为oldestXmin已经太老了,就会提示用户尽量关闭事务,以免发生xid循环使用的问题(wraparound transaction xid)。

对于一个系统,如果每秒事务量为1W tps,可以支持15000秒,也就是4个小时左右。vacuum_freeze_min_age 的最大值不能超过autovacuum_freeze_max_age/2,也就是100million。

 对于multixid的冻结,也是同样的计算方法,只不过autovacuum_multixact_freeze_max_age的值为400million,

PG用这个方法,完美解决了wraparound 问题。

 

image

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/29253764/viewspace-1851836/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2015-12-02

  • 博文量
    3
  • 访问量
    4877