ITPub博客

首页 > 数据库 > MySQL > mysqldump5.7以下版本实现并发备份

mysqldump5.7以下版本实现并发备份

MySQL 作者:urgel_babay 时间:2016-09-16 10:28:50 0 删除 编辑

mysqldump5.7以下版本多线程备份单表

 作者:sylar版权所有[文章允许转载,但必须以链接方式注明源地址,否则追究法律责任.]

【背景说明】

mysqldump适用于备份单表,或者数量级较小的库的备份。一般情况下innobackupex备份数量级大的库,速度是很快的。但是其瓶颈在于如果业务需要多实例部分对象迁移到新的实例里,此时就无法满足该情况。(mysqldumper在此不做讨论)。

下面简单列举mysqldump适用的场景:

  • 备份多个单表
  • 备份一个或多个库
  • 备份存储过程、自定义函数或事件
  • 只备份数据不备份表结构
  • 只备份表结构不备份数据
  • 其他

mysqldump虽然使用起来比较灵活,但是它无法实现并发备份,故本文描述的就是实现如何用mysqldump实现并发备份

【思路说明】

把需要备份的一个库或多个库,提取这些库下面所有的表进行一个个备份:这样可以利用脚本进行多线程备份这些单表,从而实现库级的并发备份

【具体脚本】


点击(此处)折叠或打开

  1. #!/bin/bash
  2. #注释:mysqldump多线程备份多表
  3. #Auther:cyt
  4. #date:2016-06-23
  5. #按照多实例循环框架
  6. function instance()
  7. {
  8.         for port in `ps -ef | grep -v -E "mysqld_safe|awk" | awk '/mysqld /,/port=/''{for(i=1;i<=NF;i++){if($i~/port=/) print gsub(/--port=/,""),$i}}' | awk '{print $2}'`
  9.           do
  10.              ##避免循环的port和sock不匹配
  11.              sock=`ps -ef | grep "${port}"| grep -v -E "mysqld_safe|awk" | awk '/mysqld /,/socket=/''{for(i=1;i<=NF;i++){if($i~/socket=/) print gsub(/--socket=/,""),$i}}' | awk '{print $2}'`
  12.              #由于该脚本是并行备份,以防由于繁忙,导致获取不到dump连接,故将该参数调大(备份完后会调小)
  13.              mysql -u$DB_USER -p$DB_PASSWORD --host= --socket=$sock --host=$host -BN -e "SET GLOBAL net_write_timeout=1800";
  14.              #调用输出备份命令的日志函数
  15.              log
  16.              echo "-----端口号为"$port"的mysql实例开始按表并发备份:开始时间为"`date "+%Y-%m-%d %H:%M:%S"`
  17.              #调用备份函数
  18.              dumpAllTable
  19.              #计算备份所用时间
  20.              END=`date "+%Y-%m-%d %H:%M:%S"`
  21.              END_T=`date -d "$END" +%s`
  22.              TIME_INVENTAL_M=$[($END_T-$BEGIN_T)/60]
  23.              TIME_INVENTAL_S=$[($END_T-$BEGIN_T)%60]
  24.              echo '-----端口号为'$port'的mysql实例于' $END '备份完成,使用时间为 '$TIME_INVENTAL_M'分钟'$TIME_INVENTAL_S'秒'
  25.              #调用tardump函数,对备份文件进行压缩,注意本次压缩会删掉原文件
  26.              tardump
  27.              #将参数改为默认,以防耗尽内存
  28.              mysql -u$DB_USER -p$DB_PASSWORD --host= --socket=$sock --host=$host -BN -e "SET GLOBAL net_write_timeout=60";
  29.         done
  30. }



  31. #将要备份的单表从大到小输出到日志里面
  32. function log()
  33. {
  34.             BACKUP_DIR=/data/backup/$DATE/$port;
  35.             mkdir -p $BACKUP_DIR
  36.             #过滤掉MySQL自带的DB
  37.             if [ -e ${BACKUP_DIR}/cyt.log ];
  38.             then rm -rf ${BACKUP_DIR}/cyt.log;
  39.             fi;
  40.             for a in `mysql -u$DB_USER -p$DB_PASSWORD --socket=$sock --host=$host -BN -e"show databases;" |sed '/^performance_schema$/'d|sed '/^mysql/'d |sed '/^information_schema$/'d|sed '/^information_schema$/'d|sed '/^test$/'d|sed '/^sys$/'d `
  41.                  do
  42.                     mkdir -p ${BACKUP_DIR}/${a}
  43.                     for j in `mysql -u$DB_USER -p$DB_PASSWORD --host= --socket=$sock --host=$host -BN -e "select table_name from information_schema.tables where table_schema='${a}' order by table_rows desc;"`
  44.                     do
  45.                           echo 'mysqldump -u'$DB_USER' -p'$DB_PASSWORD' --socket='$sock' --host='$host' --set-gtid-purged=OFF -c --single_transaction=OFF -q --skip-add-locks ' ${a} ${j}'>'$BACKUP_DIR'/'${a}'/'${j}'.sql'>>$BACKUP_DIR/cyt.log;
  46.                     done
  47.                  done
  48. }

  49.    

  50. #调用函数log,查看log日志调用并发函数实现多线程备份
  51. function dumpAllTable()
  52. {
  53.         local schemaFile="${BACKUP_DIR}/cyt.log"
  54.         #最大的表先备份(因多进程并发,最短完成时间依赖于最大表的完成)
  55.         allTable=`cat $schemaFile | wc -l`
  56.         i_import=0
  57.         declare -a array_cmds
  58.         i_array=0
  59.         while read file; do
  60.                 i_import=`expr $i + 1`
  61.                 array_cmds[i_array]="${file}"
  62.                 i_array=`expr ${i_array} + 1`
  63.         done < ${BACKUP_DIR}/cyt.log
  64.         execConcurrency "${threadsNum}" "${array_cmds[@]}"
  65. }





  66. #并发函数
  67. function execConcurrency()
  68. {
  69.         #并发数据量
  70.         local thread=$1
  71.         #并发命令
  72.         local cmd=$2
  73.         #定义管道,用于控制并发线程
  74.         tmp_fifofile="/tmp/$$.fifo"
  75.         mkfifo $tmp_fifofile
  76.         #输入输出重定向到文件描述符6
  77.         exec 6<>$tmp_fifofile
  78.         rm -f $tmp_fifofile
  79.         #向管道压入指定数据的空格
  80.         for ((i=0;i<$thread;i++)); do
  81.                 echo
  82.         done >&6
  83.         #遍历命令列表
  84.         while [ "$cmd" ]; do
  85.                 #从管道取出一个空格(如无空格则阻塞,达到控制并发的目的)
  86.                 read -u6
  87.                 #命令执行完后压回一个空格
  88.                 { eval $2;echo >&6; } & #> /dev/null 2>&1 &
  89.                 shift
  90.                 cmd=$2
  91.         done
  92.         #等待所有的后台子进程结束
  93.         wait
  94.         #关闭df6
  95.         exec 6>&-
  96. }

  97. #压缩备份文件
  98. function tardump()
  99. {
  100.     #使用tar压缩
  101.     if [ -d ${BACKUP_DIR} ] && [ -n ${port} ]
  102.     then
  103.         echo "-----开始进行压缩端口号为"$port"的mysql实例的备份:开始时间"`date "+%Y-%m-%d %H:%M:%S"`
  104.         cd $BACKUP_DIR;
  105.         for b in `find $BACKUP_DIR -maxdepth 1 -type d ! -iname "${port}*" ! -iname '*.sql' ! -iname '*tar.gz' `
  106.             do
  107.                 c=`basename $b`
  108.                 tar -zcvf $c'_'$(date +%F_%H-%M).tar.gz $c --remove-files > /dev/null
  109.         done
  110.      else echo "没有可以进行压缩的文件";
  111.     fi;
  112.     echo "-----压缩端口号为"$port"的mysql实例的备份文件:结束时间"`date "+%Y-%m-%d %H:%M:%S"`
  113. }

  114. #主函数
  115. function main()
  116. {
  117.         #获取本地IP地址
  118.         host=`ifconfig | grep 'inet addr:' | grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'`
  119.         DATE=`date +%F`
  120.         #本次备份mysqldump --host --socket如果是本地用户备份,建议去掉host;(多实例本地用户密码问题需注意)
  121.         #数据库用户
  122.         DB_USER='cyt'
  123.         #数据库用户对应的密码
  124.         DB_PASSWORD='cyt'
  125.         #记录开始的时间
  126.         BEGIN=`date "+%Y-%m-%d %H:%M:%S"`
  127.         BEGIN_T=`date -d "$BEGIN" +%s`
  128.         echo '--------------开始按表并发备份:开始时间为 '$BEGIN
  129.         #设置并发备份的线程数
  130.         threadsNum=10
  131.         #调用instance函数
  132.         instance
  133.         echo '--------------backup all database successfully!!!结束时间:' `date "+%Y-%m-%d %H:%M:%S"`
  134. }

  135. main


【脚本说明】

  • 由于该脚本是并行备份,以防由于繁忙,导致获取不到dump连接,故将该参数调大(该数据库版本是5.6.19,脚本在备份完后会调小)

mysql -u$DBUSER -p$DBPASSWORD --host= --socket=$sock --host=$host -BN -e "SET GLOBAL netwritetimeout=1800";

  • 由于想要利用并发函数,将要使用的命令导入到${BACKUP_DIR}/cyt.log日志里,然后通过并发函数execConcurrency和数组dumpAllTable来实现本脚本的目的

  • 本脚本可以实现多实例备份,如果多实例备份的用户名和密码不同,可以使用case命令,下面是简单举例

    点击(此处)折叠或打开

    1. if [ $port -eq 3306 ]; then
    2.         case $IP in
    3.          '10.240.5.11')
    4.             DB_USER='CYT1'
    5.             DB_PASSWORD='1'
    6.             ;;
    7.             '10.240.5.12')
    8.             DB_USER='CYT2'
    9.             DB_PASSWORD='2'
    10.             ;;
    11.             '10.240.5.13')
    12.             DB_PASSWORD='3'
    13.             ;;
    14.            esac
    15.         else
    16.           DB_PASSWORD='4'
    17.       fi



来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/30936525/viewspace-2125030/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 安装zabbix使出错
请登录后发表评论 登录
全部评论

注册时间:2016-02-29

  • 博文量
    203
  • 访问量
    217861