ITPub博客
首页 博客 专栏 学院 社区 IT新媒体评选
发博

首页 > 数据库 > MySQL > xtrabackup 备份与恢复

xtrabackup 备份与恢复

原创 MySQL 作者：wwjfeng 时间：2018-04-12 22:52:26 0 删除 编辑

xtrabackup是Percona公司CTO Vadim参与开发的一款基于InnoDB的在线热备份工具，具有开源，免费，支持在线热备，备份恢复速度快，占用磁盘空间小等特点，并且支持不同情况下的多种备份形式

1.安装
(1).安装依赖包
yum install perl-DBI
yum install perl-DBD-MySQL
rpm -ivh libev-4.15-3.el7.x86_64.rpm

(2).安装xtrabackup
rpm -ivh percona-xtrabackup-24-2.4.9-1.el7.x86_64.rpm

(3).xtrabackup包含两个主要的工具，即xtrabackup和innobackupex，二者区别如下：
- xtrabackup只能备份innodb和xtradb两种引擎的表，而不能备份myisam引擎的表；
- innobackupex是一个封装了xtrabackup的Perl脚本，支持同时备份innodb和myisam，但在对myisam备份时需要加一个全局的读锁。还有就是myisam不支持增量备份。

2.备份过程

备份开始时首先会开启一个后台检测进程，实时检测mysql redo的变化，一旦发现redo中有新的?日志写入，立刻将日志记
入后台日志文件xtrabackup_log中。之后复制innodb的数据文件和系统表空间文件ibdata1，待复制结束后，执行flush
tables with read lock操作，复制.frm，MYI，MYD，等文件（执行flush tableswith read lock的目的是为了防止数据表发生
DDL操作，并且在这一时刻获得binlog的位置）最后会发出unlock tables，把表设置为可读可写状态，最终停止
xtrabackup_log。

3.全备恢复
这一阶段会启动xtrabackup内嵌的innodb实例，回放xtrabackup日志xtrabackup_log，将提交的事务信息变更应用到
innodb数据/表空间，同时回滚未提交的事务(这一过程类似innodb的实例恢复）。恢复过程如下图：


4.增量备份
innobackupex增量备份过程中的"增量"处理，其实主要是相对innodb而言，对myisam和其他存储引擎而言，它仍然是全
拷贝(全备份)
"增量"备份的过程主要是通过拷贝innodb中有变更的"页"（这些变更的数据页指的是"页"的LSN大于
xtrabackup_checkpoints中给定的LSN）。增量备份是基于全备的，第一次增备的数据必须要基于上一次的全备，之后的
每次增备都是基于上一次的增备，最终达到一致性的增备。增量备份的过程如下，和全备的过程很类似，区别仅在第2
步。

5.增量备份恢复
和全备恢复类似，也需要两步，一是数据文件的恢复，如图4，这里的数据来源由3部分组成：全备份，增量备份和xtrabackup log。二是对未提交事务的回滚，如图5所示：


6.xtrabackup文件
backup-my.cnf
此文件包含了备份所需要的my.cnf的选项，如innodb_data_file_path innodb_log_file_in_group innodb_log_file_size等，
在恢复过程中innobackupex会依赖于该文件的选项
xtrabakcup_checkpoints
该文件记录备份的类型（full-backuped，incremental）备份状态以及备份信息的LSN信息，增量备份依赖于该信息
xtrabackup_binlog_info
该文件记录数据库备份的时候的二进制文件信息和位置，这是备份后数据库的位置，可以用来搭建主从
xtrabackup_logfile
该文件是--apply-log操作的时候，所需要的数据。如果该文件很大，则--apply-log需要的时间会比较长


7.备份恢复实验
场景1.全库备份全库恢复

点击( 此处)折叠或打开

  1. (1 ) .全备
  2. innobackupex --defaults-file = /etc /my5 .7_3306 .cnf -- user =root -- password =root --no- timestamp /mysql /backup / `date +%H-%M` .dbname
  3. (2 ) .恢复全备
  4. --关闭数据库
  5. /usr /local /mysql / bin /mysqladmin -S /tmp /mysql3306 .sock shutdown -p
  6. --备份旧的数据目录
  7. mv mysql3306 mysql3306_bak & & mkdir -p /mysql /mysql3306 /mysql3306
  8. --日志包含了redo以及undo的操作，应用过程类似与mysql hang机后的recovery操作，完成后备份处于一致性状态
  9. innobackupex --defaults-file = /etc /my5 .7_3306 .cnf -- user =root --apply- log /mysql /backup /11-39 .dbname
  10. --从备份目录拷贝数据 ,索引 ,日志到my .cnf文件里规定的初始位置
  11. innobackupex --defaults-file = /etc /my5 .7_3306 .cnf -- user =root --copy-back /mysql /backup /11-39 .dbname
  12. --更改权限
  13. chown -R mysql:mysql mysql3306
  14. --开启数据库
  15. /usr /local /mysql / bin /mysqld_safe --defaults-file = /etc /my5 .7_3306 .cnf -- user =mysql &
  16. completed OK!


场景2.单数据库备份

点击( 此处)折叠或打开

  1. (1 ) .单库备份
  2. innobackupex --defaults-file = /etc /my5 .7_3306 .cnf -- user =root -- password =root --no- timestamp --databases =wwj /mysql /backup / `date +%H-%M` .dbname
  3. (2 ) .恢复单库
  4. --关闭数据库
  5. /usr /local /mysql / bin /mysqladmin -S /tmp /mysql3306 .sock shutdown -p

  7. --innobackupex prepare部分表空间
    innobackupex --defaults-file=/etc/my5.7_3306.cnf --no-timestamp --apply-log  --export --user root --socket=/tmp/mysql3306.sock /mysql/backup/15-38.dbname

  8. --恢复到一个新的数据库
    mysql初始化
    /usr/local/mysql/bin/mysqld --defaults-file=/etc/my5.7_3306.cnf --initialize-insecure --basedir=/usr/local/mysql --datadir=/mysql/mysql3306/mysql3306/ --user=mysql
    关闭新的mysqld实例

  9. 恢复数据
    cp -rf /mysql/backup/15-38.dbname/* /mysql/mysql3306/mysql3306/

    修改权限
    chown mysql:mysql -R /home/mysql3306/mysql3306 

  11. --开启数据库
  12. /usr /local /mysql / bin /mysqld_safe --defaults-file = /etc /my5 .7_3306 .cnf -- user =mysql &
  13. completed OK!


场景3.增量备份恢复

点击( 此处)折叠或打开

  1. (1 ) .全备
  2. mysql > show databases ;
  3. + - - - - - - - - - - - - - - - - - - - - +
  4. | Database |
  5. + - - - - - - - - - - - - - - - - - - - - +
  6. | information_schema |
  7. | mysql |
  8. | performance_schema |
  9. | sys |
  10. | wwj |
  11. | wwj2 |
  12. + - - - - - - - - - - - - - - - - - - - - +
  13. 6 rows in set (0 .04 sec )

  15. mysql > select * from wwj .t3 ;
  16. + - - - - - - + - - - - - - +
  17. | idt3 | idt4 |
  18. + - - - - - - + - - - - - - +
  19. | 3 | 30 |
  20. | 6 | 60 |
  21. | 5 | 500 |
  22. + - - - - - - + - - - - - - +
  23. 3 rows in set (0 .01 sec )

  25. mysql > select * from wwj2 .t1 ;
  26. + - - - - + - - - - - - +
  27. | id | name |
  28. + - - - - + - - - - - - +
  29. | 1 | gjb |
  30. + - - - - + - - - - - - +
  31. 1 row in set (0 .02 sec )

  33. innobackupex --defaults-file = /etc /my5 .7_3306 .cnf -- user =root -- password =root --no- timestamp /mysql /backup / `date +%H-%M` .dbname

  35. (2 ) .增量备份1
  36. insert into wwj .t3 values (7 ,70 ) ;
  37. insert into wwj2 .t1 values ( null , 'haha2' ) ;

  39. innobackupex --defaults-file = /etc /my5 .7_3306 .cnf -- user =root -- password =root --no- timestamp --incremental-basedir = /mysql /backup /09-39 .dbname --incremental /mysql /backup / `date +%H-%M` .dbname .incr

  41. (3 ) .增量备份2
  42. insert into wwj .t3 values (8 ,80 ) ;
  43. insert into wwj2 .t1 values ( null , 'haha33' ) ;

  45. innobackupex --defaults-file = /etc /my5 .7_3306 .cnf -- user =root -- password =root --no- timestamp --incremental-basedir = /mysql /backup /10-29 .dbname .incr --incremental /mysql /backup / `date +%H-%M` .dbname .incr

  47. (4 ) .查看checkpoint
  48. backup_type = full-backuped
  49. from_lsn = 0
  50. to_lsn = 2499663
  51. last_lsn = 2499672
  52. compact = 0
  53. recover_binlog_info = 0
  54. ------------------------------
  55. backup_type = incremental
  56. from_lsn = 2499663
  57. to_lsn = 2500376
  58. last_lsn = 2500385
  59. compact = 0
  60. recover_binlog_info = 0
  61. ------------------------------
  62. backup_type = incremental
  63. from_lsn = 2500376
  64. to_lsn = 2501066
  65. last_lsn = 2501075
  66. compact = 0
  67. recover_binlog_info = 0

  69. (5 ) .继续执行事务
  70. insert into wwj .t3 values (9 ,90 ) ;
  71. insert into wwj .t3 values (10 ,100 ) ;
  72. insert into wwj .t3 values (11 ,110 ) ;

  74. (6 ) .恢复前合并全备和增量目录
  75. innobackupex --defaults-file = /etc /my5 .7_3306 .cnf -- user =root --apply- log --redo-only /mysql /backup /09-39 .dbname
  76. innobackupex --defaults-file = /etc /my5 .7_3306 .cnf -- user =root --apply- log --redo-only /mysql /backup /09-39 .dbname --incremental-dir = /mysql /backup /10-29 .dbname .incr
  77. innobackupex --defaults-file = /etc /my5 .7_3306 .cnf -- user =root --apply- log --redo-only /mysql /backup /09-39 .dbname --incremental-dir = /mysql /backup /10-37 .dbname .incr
  78. 合并后结果
  79. backup_type = log -applied
  80. from_lsn = 0
  81. to_lsn = 2501066
  82. last_lsn = 2501075
  83. compact = 0
  84. recover_binlog_info = 0

  86. (7 ) .再次准备
  87. innobackupex --defaults-file = /etc /my5 .7_3306 .cnf -- user =root --apply- log /mysql /backup /09-39 .dbname

  89. (8 ) .关闭数据库
  90. /usr /local /mysql / bin /mysqladmin -S /tmp /mysql3306 .sock shutdown -p

  92. (9 ) .删除数据库
  93. (10 ) .恢复
  94. innobackupex --defaults-file = /etc /my5 .7_3306 .cnf -- user =root --copy-back /mysql /backup /09-39 .dbname

  96. (11 ) .启动数据库
  97. /usr /local /mysql / bin /mysqld_safe --defaults-file = /etc /my5 .7_3306 .cnf -- user =mysql &


8.常用参数说明

点击( 此处)折叠或打开

  1. --defaults-file
  2. 同xtrabackup的--defaults-file参数
  3. --apply-log
  4. 在备份目录下，通过应用名称为xtrabackup_logfile的交易日志文件来准备备份。同时，创建新的交易日志。
  5. --copy-back
  6. 做数据恢复时将备份数据文件拷贝到MySQL服务器的datadir ；
  7. --remote-host=HOSTNAME
  8. 通过ssh将备份数据存储到进程服务器上；
  9. --stream=[tar]
  10. 备 份文件输出格式, tar时使用tar4ibd , 该文件可在XtarBackup binary文件中获得.如果备份时有指定--stream=tar, 则tar4ibd文件所处目录一定要在$PATH中(因为使用的是tar4ibd去压缩, 在XtraBackup的binary包中可获得该文件)。
  11. 在 使用参数stream=tar备份的时候，你的xtrabackup_logfile可能会临时放在/tmp目录下，如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+)，很可能会撑满你的/tmp目录，可以通过参数--tmpdir指定目录来解决这个问题。
  12. --tmpdir=DIRECTORY
  13. 当有指定--remote-host or --stream时, 事务日志临时存储的目录, 默认采用MySQL配置文件中所指定的临时目录tmpdir
  14. --redo-only --apply-log组,
  15. 强制备份日志时只redo ,跳过rollback。这在做多个增量备份合并时非常必要。
  16. --use-memory=#
  17. 指定数据库恢复时使用的内存大小，需要搭配--apply-log参数
  18. --throttle=IOS
  19. 同xtrabackup的--throttle参数
  20. --sleep=是给ibbackup使用的，指定每备份1M数据，过程停止拷贝多少毫秒，也是为了在备份时尽量减小对正常业务的影响，具体可以查看ibbackup的手册 ；
  21. --compress[=LEVEL]
  22. 对备份数据迚行压缩，仅支持ibbackup，xtrabackup还没有实现；
  23. --include=REGEXP
  24. 对 xtrabackup参数--tables的封装，也支持ibbackup。备份包含的库表，例如：--include="test.*"，意思是要备份 test库中所有的表。如果需要全备份，则省略这个参数；如果需要备份test库下的2个表：test1和test2,则写 成：--include="test.test1|test.test2"。也可以使用通配符，如：--include="test.test*"。
  25. --databases=LIST
  26. 列出需要备份的databases，如果没有指定该参数，所有包含MyISAM和InnoDB表的database都会被备份；
  27. --uncompress
  28. 解压备份的数据文件，支持ibbackup，xtrabackup还没有实现该功能；
  29. --slave-info,
  30. 当备份一个作为复制环境的服务器时，这个参数会自动将CHANGE MASTER语句写到备份中，在恢复备份后，不必执行CHANGE MASTER语句。
  31. --socket=SOCKET
  32. 指定mysql.sock所在位置，以便备份进程登录mysql.
  33. --compact
  34. 创建一个不包含第二索引（除了主键之外的索引）的备份
  35. --incremental-basedir
  36. 以上一次全量或增量备份的路径，作为增量备份的基础。指定这个参数的同时，应该同样指定--incremental参数
  37. --incremental
  38. 创建增量备份，当指定这个参数的时候，应该指定--incremental-lsn或--incremental-basedir参数，否则将会备份到--incremental-basedir路径
  39. --incremental-dir=DIRECTORY
  40. 指定增量备份的目录，需要搭配--incremental参数。
  41. --no-timestamp
  42. 这个参数会让xtrabackup在备份的时候不创建带有时间格式的子文件夹。当指定了这个参数，备份会直接创建在指定的备份目录下。
  43. --tables-file=FILE
  44. 这个参数会接受一个字符串，这个字符串指定了一个文件，这个文件包含了要备份的表名，格式如database.table，一行一个。
 --use-memory=# -apply-log 调节内存使用 

 --parallel=  多线程拷贝数据文件，使用该参数要考虑线上的数据库的压力的问题，如果线程开启较多，会对硬盘产生交大的压力。


来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/15412087/viewspace-2152876/ ，如需转载，请注明出处，否则将追究法律责任。

1
0
上一篇： mysql innodb lock机制原理
下一篇： mysqldump 备份与恢复
请登录后发表评论 登录
全部评论
wwjfeng

注册时间：2010-03-27

  • 博文量
    57
  • 访问量
    199184

最新文章

支持我们 作者招募 用户协议 FAQ Contact Us

北京盛拓优讯信息技术有限公司. 版权所有  京ICP备16024965号-8 北京市公安局海淀分局网监中心备案编号：11010802021510 niuxiaotong@pcpop.com 17352615567 未成年人举报专区

广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

违法和不良信息举报电话:18101376593