ITPub博客

首页 > 数据库 > MySQL > xtrabackup 备份与恢复

xtrabackup 备份与恢复

原创 MySQL 作者:wwjfeng 时间:2018-04-12 22:52:26 0 删除 编辑

xtrabackup是Percona公司CTO Vadim参与开发的一款基于InnoDB的在线热备份工具,具有开源,免费,支持在线热备,备份恢复速度快,占用磁盘空间小等特点,并且支持不同情况下的多种备份形式

1.安装
(1).安装依赖包
yum install perl-DBI
yum install perl-DBD-MySQL
rpm -ivh libev-4.15-3.el7.x86_64.rpm

(2).安装xtrabackup
rpm -ivh percona-xtrabackup-24-2.4.9-1.el7.x86_64.rpm

(3).xtrabackup包含两个主要的工具,即xtrabackup和innobackupex,二者区别如下:
- xtrabackup只能备份innodb和xtradb两种引擎的表,而不能备份myisam引擎的表;
- innobackupex是一个封装了xtrabackup的Perl脚本,支持同时备份innodb和myisam,但在对myisam备份时需要加一个全局的读锁。还有就是myisam不支持增量备份。

2.备份过程

备份开始时首先会开启一个后台检测进程,实时检测mysql redo的变化,一旦发现redo中有新的?日志写入,立刻将日志记
入后台日志文件xtrabackup_log中。之后复制innodb的数据文件和系统表空间文件ibdata1,待复制结束后,执行flush
tables with read lock操作,复制.frm,MYI,MYD,等文件(执行flush tableswith read lock的目的是为了防止数据表发生
DDL操作,并且在这一时刻获得binlog的位置)最后会发出unlock tables,把表设置为可读可写状态,最终停止
xtrabackup_log。

3.全备恢复
这一阶段会启动xtrabackup内嵌的innodb实例,回放xtrabackup日志xtrabackup_log,将提交的事务信息变更应用到
innodb数据/表空间,同时回滚未提交的事务(这一过程类似innodb的实例恢复)。恢复过程如下图:


4.增量备份

innobackupex增量备份过程中的"增量"处理,其实主要是相对innodb而言,对myisam和其他存储引擎而言,它仍然是全
拷贝(全备份)
"增量"备份的过程主要是通过拷贝innodb中有变更的"页"(这些变更的数据页指的是"页"的LSN大于
xtrabackup_checkpoints中给定的LSN)。增量备份是基于全备的,第一次增备的数据必须要基于上一次的全备,之后的
每次增备都是基于上一次的增备,最终达到一致性的增备。增量备份的过程如下,和全备的过程很类似,区别仅在第2
步。

5.增量备份恢复
和全备恢复类似,也需要两步,一是数据文件的恢复,如图4,这里的数据来源由3部分组成:全备份,增量备份和xtrabackup log。二是对未提交事务的回滚,如图5所示:


6.xtrabackup文件
backup-my.cnf
此文件包含了备份所需要的my.cnf的选项,如innodb_data_file_path innodb_log_file_in_group innodb_log_file_size等,
在恢复过程中innobackupex会依赖于该文件的选项
xtrabakcup_checkpoints
该文件记录备份的类型(full-backuped,incremental)备份状态以及备份信息的LSN信息,增量备份依赖于该信息
xtrabackup_binlog_info
该文件记录数据库备份的时候的二进制文件信息和位置,这是备份后数据库的位置,可以用来搭建主从
xtrabackup_logfile
该文件是--apply-log操作的时候,所需要的数据。如果该文件很大,则--apply-log需要的时间会比较长


7.备份恢复实验
场景1.全库备份全库恢复

点击(此处)折叠或打开

  1. (1).全备
  2. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp /mysql/backup/`date +%H-%M`.dbname
  3. (2).恢复全备
  4. --关闭数据库
  5. /usr/local/mysql/bin/mysqladmin -S /tmp/mysql3306.sock shutdown -p
  6. --备份旧的数据目录
  7. mv mysql3306 mysql3306_bak && mkdir -p /mysql/mysql3306/mysql3306
  8. --日志包含了redo以及undo的操作,应用过程类似与mysql hang机后的recovery操作,完成后备份处于一致性状态
  9. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log /mysql/backup/11-39.dbname
  10. --从备份目录拷贝数据,索引,日志到my.cnf文件里规定的初始位置
  11. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --copy-back /mysql/backup/11-39.dbname
  12. --更改权限
  13. chown -R mysql:mysql mysql3306
  14. --开启数据库
  15. /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my5.7_3306.cnf --user=mysql &
  16. completed OK!

场景2.单数据库备份

点击(此处)折叠或打开

  1. (1).单库备份
  2. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp --databases=wwj /mysql/backup/`date +%H-%M`.dbname
  3. (2).恢复单库
  4. --关闭数据库
  5. /usr/local/mysql/bin/mysqladmin -S /tmp/mysql3306.sock shutdown -p

  6. --innobackupex prepare部分表空间
    innobackupex --defaults-file=/etc/my5.7_3306.cnf --no-timestamp --apply-log  --export --user root --socket=/tmp/mysql3306.sock /mysql/backup/15-38.dbname

  7. --恢复到一个新的数据库
    mysql初始化
    /usr/local/mysql/bin/mysqld --defaults-file=/etc/my5.7_3306.cnf --initialize-insecure --basedir=/usr/local/mysql --datadir=/mysql/mysql3306/mysql3306/ --user=mysql
    关闭新的mysqld实例

  8. 恢复数据
    cp -rf /mysql/backup/15-38.dbname/* /mysql/mysql3306/mysql3306/

    修改权限
    chown mysql:mysql -R /home/mysql3306/mysql3306 

  9. --开启数据库
  10. /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my5.7_3306.cnf --user=mysql &
  11. completed OK!


场景3.增量备份恢复

点击(此处)折叠或打开

  1. (1).全备
  2. mysql> show databases;
  3. +--------------------+
  4. | Database |
  5. +--------------------+
  6. | information_schema |
  7. | mysql |
  8. | performance_schema |
  9. | sys |
  10. | wwj |
  11. | wwj2 |
  12. +--------------------+
  13. 6 rows in set (0.04 sec)

  14. mysql> select * from wwj.t3;
  15. +------+------+
  16. | idt3 | idt4 |
  17. +------+------+
  18. | 3 | 30 |
  19. | 6 | 60 |
  20. | 5 | 500 |
  21. +------+------+
  22. 3 rows in set (0.01 sec)

  23. mysql> select * from wwj2.t1;
  24. +----+------+
  25. | id | name |
  26. +----+------+
  27. | 1 | gjb |
  28. +----+------+
  29. 1 row in set (0.02 sec)

  30. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp /mysql/backup/`date +%H-%M`.dbname

  31. (2).增量备份1
  32. insert into wwj.t3 values(7,70);
  33. insert into wwj2.t1 values(null,'haha2');

  34. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp --incremental-basedir=/mysql/backup/09-39.dbname --incremental /mysql/backup/`date +%H-%M`.dbname.incr

  35. (3).增量备份2
  36. insert into wwj.t3 values(8,80);
  37. insert into wwj2.t1 values(null,'haha33');

  38. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --password=root --no-timestamp --incremental-basedir=/mysql/backup/10-29.dbname.incr --incremental /mysql/backup/`date +%H-%M`.dbname.incr

  39. (4).查看checkpoint
  40. backup_type = full-backuped
  41. from_lsn = 0
  42. to_lsn = 2499663
  43. last_lsn = 2499672
  44. compact = 0
  45. recover_binlog_info = 0
  46. ------------------------------
  47. backup_type = incremental
  48. from_lsn = 2499663
  49. to_lsn = 2500376
  50. last_lsn = 2500385
  51. compact = 0
  52. recover_binlog_info = 0
  53. ------------------------------
  54. backup_type = incremental
  55. from_lsn = 2500376
  56. to_lsn = 2501066
  57. last_lsn = 2501075
  58. compact = 0
  59. recover_binlog_info = 0

  60. (5).继续执行事务
  61. insert into wwj.t3 values(9,90);
  62. insert into wwj.t3 values(10,100);
  63. insert into wwj.t3 values(11,110);

  64. (6).恢复前合并全备和增量目录
  65. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log --redo-only /mysql/backup/09-39.dbname
  66. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log --redo-only /mysql/backup/09-39.dbname --incremental-dir=/mysql/backup/10-29.dbname.incr
  67. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log --redo-only /mysql/backup/09-39.dbname --incremental-dir=/mysql/backup/10-37.dbname.incr
  68. 合并后结果
  69. backup_type = log-applied
  70. from_lsn = 0
  71. to_lsn = 2501066
  72. last_lsn = 2501075
  73. compact = 0
  74. recover_binlog_info = 0

  75. (7).再次准备
  76. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --apply-log /mysql/backup/09-39.dbname

  77. (8).关闭数据库
  78. /usr/local/mysql/bin/mysqladmin -S /tmp/mysql3306.sock shutdown -p

  79. (9).删除数据库
  80. (10).恢复
  81. innobackupex --defaults-file=/etc/my5.7_3306.cnf --user=root --copy-back /mysql/backup/09-39.dbname

  82. (11).启动数据库
  83. /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my5.7_3306.cnf --user=mysql &


8.常用参数说明

点击(此处)折叠或打开

  1. --defaults-file
  2. 同xtrabackup的--defaults-file参数
  3. --apply-log
  4. 在备份目录下,通过应用名称为xtrabackup_logfile的交易日志文件来准备备份。同时,创建新的交易日志。
  5. --copy-back
  6. 做数据恢复时将备份数据文件拷贝到MySQL服务器的datadir ;
  7. --remote-host=HOSTNAME
  8. 通过ssh将备份数据存储到进程服务器上;
  9. --stream=[tar]
  10. 备 份文件输出格式, tar时使用tar4ibd , 该文件可在XtarBackup binary文件中获得.如果备份时有指定--stream=tar, 则tar4ibd文件所处目录一定要在$PATH中(因为使用的是tar4ibd去压缩, 在XtraBackup的binary包中可获得该文件)。
  11. 在 使用参数stream=tar备份的时候,你的xtrabackup_logfile可能会临时放在/tmp目录下,如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+),很可能会撑满你的/tmp目录,可以通过参数--tmpdir指定目录来解决这个问题。
  12. --tmpdir=DIRECTORY
  13. 当有指定--remote-host or --stream时, 事务日志临时存储的目录, 默认采用MySQL配置文件中所指定的临时目录tmpdir
  14. --redo-only --apply-log组,
  15. 强制备份日志时只redo ,跳过rollback。这在做多个增量备份合并时非常必要。
  16. --use-memory=#
  17. 指定数据库恢复时使用的内存大小,需要搭配--apply-log参数
  18. --throttle=IOS
  19. 同xtrabackup的--throttle参数
  20. --sleep=是给ibbackup使用的,指定每备份1M数据,过程停止拷贝多少毫秒,也是为了在备份时尽量减小对正常业务的影响,具体可以查看ibbackup的手册 ;
  21. --compress[=LEVEL]
  22. 对备份数据迚行压缩,仅支持ibbackup,xtrabackup还没有实现;
  23. --include=REGEXP
  24. 对 xtrabackup参数--tables的封装,也支持ibbackup。备份包含的库表,例如:--include="test.*",意思是要备份 test库中所有的表。如果需要全备份,则省略这个参数;如果需要备份test库下的2个表:test1和test2,则写 成:--include="test.test1|test.test2"。也可以使用通配符,如:--include="test.test*"。
  25. --databases=LIST
  26. 列出需要备份的databases,如果没有指定该参数,所有包含MyISAM和InnoDB表的database都会被备份;
  27. --uncompress
  28. 解压备份的数据文件,支持ibbackup,xtrabackup还没有实现该功能;
  29. --slave-info,
  30. 当备份一个作为复制环境的服务器时,这个参数会自动将CHANGE MASTER语句写到备份中,在恢复备份后,不必执行CHANGE MASTER语句。
  31. --socket=SOCKET
  32. 指定mysql.sock所在位置,以便备份进程登录mysql.
  33. --compact
  34. 创建一个不包含第二索引(除了主键之外的索引)的备份
  35. --incremental-basedir
  36. 以上一次全量或增量备份的路径,作为增量备份的基础。指定这个参数的同时,应该同样指定--incremental参数
  37. --incremental
  38. 创建增量备份,当指定这个参数的时候,应该指定--incremental-lsn或--incremental-basedir参数,否则将会备份到--incremental-basedir路径
  39. --incremental-dir=DIRECTORY
  40. 指定增量备份的目录,需要搭配--incremental参数。
  41. --no-timestamp
  42. 这个参数会让xtrabackup在备份的时候不创建带有时间格式的子文件夹。当指定了这个参数,备份会直接创建在指定的备份目录下。
  43. --tables-file=FILE
  44. 这个参数会接受一个字符串,这个字符串指定了一个文件,这个文件包含了要备份的表名,格式如database.table,一行一个。
 --use-memory=# -apply-log 调节内存使用 

 --parallel=  多线程拷贝数据文件,使用该参数要考虑线上的数据库的压力的问题,如果线程开启较多,会对硬盘产生交大的压力。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/15412087/viewspace-2152876/,如需转载,请注明出处,否则将追究法律责任。

下一篇: mysql 索引
请登录后发表评论 登录
全部评论

注册时间:2010-03-27

  • 博文量
    138
  • 访问量
    58209