ITPub博客

首页 > 数据库 > PostgreSQL > PostgreSQL 大版本升级方法之一 - 不落地并行导出导入

PostgreSQL 大版本升级方法之一 - 不落地并行导出导入

原创 PostgreSQL 作者:digoal 时间:2018-10-09 14:48:18 0 删除 编辑

背景

尽量快的大版本升级的方法。

一、9.4以下版本,使用pg_dump并行导出,pg_restore并行导入,迁移

(导出使用源版本pg_dump,导入使用目标版本pg_restore。如果是ppas请使用enterprisedb对应版本。)

1、(源库)全局元数据(用户、表空间)导出

需要superuser权限(如果你没有这个权限,跳过此步,但是务必在执行下一步时,人为在目标实例中创建所有与对象权限相关的用户)。

pg_dumpall -g -h IP地址 -p 端口 -U 用户 -W -l 数据库名

2、(目标库)全局元数据导入

导入以上元数据,在目标库执行即可(通常包括创建用户,修改用户密码,创建表空间等。)

执行第2步的目的是保证导入时,执行grant, alter set owner等操作时,目标用户已存在,否则缺失用户会导致pg_restore报错。

3、(目标库)建库

postgres=# create database newdb;  
CREATE DATABASE

4、(目标库)插件

安装postgresql软件时,打包源库已使用的的插件。  
  
略

5、(源库)导出

mkdir /data01/pg/backup  
pg_dump -j 32 -f /data01/pg/backup -F d -h IP地址 -p 端口 -U 用户 -W newdb

6、(目标实例)关闭autovacuum,加速导入(可选)

使用超级用户执行SQL  
  
alter system set autovacuum=off;  
select pg_reload_conf();

7、(目标库)导入

pg_restore -d newdb -F d -j 32 -h IP地址 -p 端口 -U 用户 /data01/pg/backup

8、(目标实例)开启autovacuum(如果执行了6)

使用超级用户执行SQL  
  
alter system set autovacuum=on;  
select pg_reload_conf();

9、(目标实例)收集统计信息(如果执行了6)

使用超级用户执行SQL,收集统计信息  
\c newdb 超级用户  
analyze;

使用以上方法,60GB的数据库迁移,耗时约10分钟。

多机玩法

https://momjian.us/main/blogs/pgblog/2018.html#September_12_2018

Where this gets interesting is with multiple hosts. You can:
$ # dump a remote database to your local machine
$ pg_dump -h remotedb.mydomain.com -f /home/postgres/dump.sql test
 
$ # dump a local database and write to a remote machine
$ pg_dump -h remotedb.mydomain.com test | ssh postgres@remotedb.mydomain.com 'cat > dump.sql'
 
$ # dump a remote database and write to the same remote machine
$ pg_dump -h remotedb.mydomain.com test | ssh postgres@remotedb.mydomain.com 'cat > dump.sql'
 
$ # or a different remote machine
$ pg_dump -h remotedb1.mydomain.com test | ssh postgres@remotedb2.mydomain.com 'cat > dump.sql'
 
You also have similar restore options. I will use psql below but pg_restore works the same:
$ # dump a remote database and restore to your local machine
$ pg_dump -h remotedb.mydomain.com test1 | psql test2
 
$ # dump a local database and restore to a remote machine
$ pg_dump -h remotedb.mydomain.com test | ssh postgres@remotedb.mydomain.com 'psql test'
 
$ # dump a remote database and restore to the same remote machine
$ pg_dump -h remotedb.mydomain.com test1 | ssh postgres@remotedb.mydomain.com 'psql test2'
 
$ # or a different remote machine
$ pg_dump -h remotedb1.mydomain.com test | ssh postgres@remotedb2.mydomain.com 'psql test'

二、9.4及以上版本,使用rds_dbsync不落地并行迁移

三、9.4及以上版本,使用pg_logical,增量迁移

四、10及以上版本,使用逻辑订阅,增量迁移

五、任何版本,都可以使用pg_upgrade升级

原文地址:https://github.com/digoal/blog/blob/master/201809/20180911_01.md

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23503672/viewspace-2215710/,如需转载,请注明出处,否则将追究法律责任。

全部评论
周正中 阿里云高级技术专家, 网名: 德哥 ( digoal );PostgreSQL 中国社区 发起人之一;PostgreSQL 象牙塔 发起人之一;DBA+社群 联合发起人之一;10余项数据库相关专利;完成了对数据库HA、容灾、备份、恢复、分布式、数据仓库架构设计和建设;数据库管理和开发的标准化体系建立。

注册时间:2018-09-30

  • 博文量
    55
  • 访问量
    61178