ITPub博客

首页 > 数据库 > 数据库开发技术 > Postgres Checkpoint

Postgres Checkpoint

数据库开发技术 作者:fiona8953 时间:2016-08-01 22:31:17 0 删除 编辑
PostgreSQL checkpoint原理 

1.PG检查点的类型

Shutdown检查点:在PG实例shutdown时做的检查点

Recovery End检查点:在recovery 结束阶段做的检查点,类似于shutdown检查点,只不过在WAL恢复结束时发起。

Immediate检查点:不仅仅创建检查点,而且会马上做。这类请求一般在比较紧急的情况下,需要马上获取数据库一致状态的情况下。

Force检查点:即使没有xlog变更,也会做。请求这类检查点,往往只是想得到最近的checkpoint location而已。

上面几个检查点,会直接影响检查点的创建以及检查点的完成时机。

Wait检查点:检查点不会马上做,但会一直等待,直到检查点完成。

往往比较重要的一些操作,但不是非常紧急的,可以请求该类检查点。尤其是一些DDL操作,对数据一致性要求高于响应时间。

另外,还有一类检查点,这类检查只是作为logging的标识:

xlog检查点:由xlog的消耗引起,产生新xlog文件。

time检查点:由时间elapse引起。

flush检查点:当发起flush 所有pages时发起,包括那些不logging的表。

PG会根据目的以及不同时机,请求相应的检查点。


2.PG检查点的机理

checkpoint进程由postmaster负责创建。作为postmaster的子进程而存在,为几大重要的后台进程之一。
从下图中,可知postmaster进程号为20079。checkpoint的进程号为20083,其父进程号为20079,即为postmaster。


checkpoint进程挂掉后,postmaster会杀掉所有backend进程,然后逐一恢复后台进程,有点类似于系统被初始化后。可见此进程对数据一致保护的重要性。

因为数据库系统要达到一个目的:即任何已经做过checkpoint的更改,不需要从WAL日志中恢复。这大大加快了数据库系统crash后的恢复速度。

在源码中,checkpoint相关的信息由一个结构体记录,放在共享内存段中:


它保存了当前checkpoint 的pid,检查点起始位置,检查点完成位置以及检查点类型等信息。另外也维护了一个检查点队列。一般的检查点请求只是创建一个检查点位置,并放到队列中,并不会马上做,检查点调度由另外逻辑来控制。

checkpoint的位点是跟xlog的位置强相关的,其实就是WAL日志的位点。

每当检查完成之时,就必须要求此检查点前的数据更改或者脏页被写入物理磁盘,并持久化。

做检查点时大致可以分为两个过程:

1).遍历所有BUFFER,将当前时刻的所有DIRTY的块状态改为CHECKPOINT_NEEDED,来表示需要将这些脏块写出到磁盘。

   注意这一步,还是在内存中完成的,并不涉及到磁盘操作。

2).刷物理文件,从缓存中将脏块fsync到磁盘。

    这一步涉及到磁盘操作。将标记为CHECKPOINT_NEEDED的block写出到磁盘。

3).Checkpoint 本身也会被记录到XLOG中

    上面讲到的检查点结构体内容以及长度等信息,会被刷出到xlog中。

4).更新控制文件

    更新控制文件中的检查点信息到当前位置([postgres@db1 ~]$ pg_controldata  /opt/pgdata), 下面粗体部分就是检查点相关内容:

[postgres@rtdkm1pgs51 crm03]$ pg_controldata
pg_control version number:            922
Catalog version number:               201204301
Database system identifier:           6102292739623205626
Database cluster state:               in production
pg_control last modified:             Tue 02 Aug 2016 12:42:03 AM SGT
Latest checkpoint location:           1B5/22EDAD90
Prior checkpoint location:            1B5/22B04680
Latest checkpoint's REDO location:    1B5/22E00B88
Latest checkpoint's TimeLineID:       1
Latest checkpoint's full_page_writes: on
Latest checkpoint's NextXID:          0/280729141
Latest checkpoint's NextOID:          2041882
Latest checkpoint's NextMultiXactId:  3017
Latest checkpoint's NextMultiOffset:  7041
Latest checkpoint's oldestXID:        95150957
Latest checkpoint's oldestXID's DB:   16600
Latest checkpoint's oldestActiveXID:  280729141
Time of latest checkpoint:            Tue 02 Aug 2016 12:40:30 AM SGT
Minimum recovery ending location:     0/0
Backup start location:                0/0
Backup end location:                  0/0
End-of-backup record required:        no
Current wal_level setting:            hot_standby
Current max_connections setting:      350
Current max_prepared_xacts setting:   0
Current max_locks_per_xact setting:   64
Maximum data alignment:               8
Database block size:                  8192
Blocks per segment of large relation: 131072
WAL block size:                       8192
Bytes per WAL segment:                16777216
Maximum length of identifiers:        64
Maximum columns in an index:          32
Maximum size of a TOAST chunk:        1996
Date/time type storage:               64-bit integers
Float4 argument passing:              by value
Float8 argument passing:              by value


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26477398/viewspace-2122826/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2014-06-13

  • 博文量
    284
  • 访问量
    222491