ITPub博客

首页 > 数据库 > MySQL > semi-sync原主库加入集群阻塞问题分析

semi-sync原主库加入集群阻塞问题分析

原创 MySQL 作者:沃趣科技 时间:2016-11-16 09:41:44 0 删除 编辑

沃趣科技  彭许生



前段时间支持客户处理问题的时候,发现一个semi-sync复制主从切换原master加入集群时,复制同步阻塞,无法继续同步数据的问题,非常有参考意义,整理一下,供大家参考。

问题现象

客户在一个一主两从的半同步复制环境下做了手工切换,然后尝试把原主库加入集群中,结果发现新集群中的数据一直无法同步到slave(原主库)中来,查看slave(原主库)同步状态,IO线程和SQL线程都是YES状态,但是Seconds_Behind_Master大于0.

  1. mysql> show slave status\G
  2. *************************** 1. row ***************************
  3. Slave_IO_State: Waiting for master to send event
  4. ..............................................
  5. Master_Log_File: mysql-bin.000007
  6. Read_Master_Log_Pos: 540
  7. Relay_Log_File: mysql-relay-bin.000006
  8. Relay_Log_Pos: 367
  9. Relay_Master_Log_File: mysql-bin.000007
  10. Slave_IO_Running: Yes
  11. Slave_SQL_Running: Yes
  12. ..............................................
  13. Seconds_Behind_Master: 1145
  14. Slave_SQL_Running_State: Waiting for semi-sync ACK from slave
  15. 1 row in set (0.00 sec)

查看show processlist状态, 发现SQL线程一直处于Waiting for semi-sync ACK from slave状态,可是这个slave(原主库)下已经没有从库了。为什么还需要等待slave返回的ACK呢?

  1. mysql> show processlist;
  2. +----+-------------+-----------+------+---------+------+--------------------------------------+------------------+
  3. | Id | User | Host | db | Command | Time | State | Info |
  4. +----+-------------+-----------+------+---------+------+--------------------------------------+------------------+
  5. | 1 | system user | | NULL | Connect | 540 | Waiting for semi-sync ACK from slave | NULL |
  6. | 2 | system user | | NULL | Connect | 2191 | Waiting for master to send event | NULL |
  7. | 4 | root | localhost | test | Query | 0 | starting | show processlist |
  8. +----+-------------+-----------+------+---------+------+--------------------------------------+------------------+
  9. 3 rows in set (0.00 sec)

问题分析

从SQL线程等待的的半同步问题出发,先查看semi-sync状态和设置

  1. mysql> show global status like 'rpl_semi_sync%';
  2. +--------------------------------------------+-------+
  3. | Variable_name | Value |
  4. +--------------------------------------------+-------+
  5. | Rpl_semi_sync_master_clients | 0 |
  6. | Rpl_semi_sync_master_net_avg_wait_time | 0 |
  7. | Rpl_semi_sync_master_net_wait_time | 0 |
  8. | Rpl_semi_sync_master_net_waits | 0 |
  9. | Rpl_semi_sync_master_no_times | 0 |
  10. | Rpl_semi_sync_master_no_tx | 0 |
  11. | Rpl_semi_sync_master_status | ON |
  12. | Rpl_semi_sync_master_timefunc_failures | 0 |
  13. | Rpl_semi_sync_master_tx_avg_wait_time | 0 |
  14. | Rpl_semi_sync_master_tx_wait_time | 0 |
  15. | Rpl_semi_sync_master_tx_waits | 0 |
  16. | Rpl_semi_sync_master_wait_pos_backtraverse | 0 |
  17. | Rpl_semi_sync_master_wait_sessions | 0 |
  18. | Rpl_semi_sync_master_yes_tx | 0 |
  19. | Rpl_semi_sync_slave_status | ON |
  20. +--------------------------------------------+-------+
  21. 15 rows in set (0.00 sec)

通过上面semi-sync的状态变量,可以发现semi-sync运行状态Rpl_semi_sync_master_status=ON、Rpl_semi_sync_slave_status=ON。这里最奇怪的是Rpl_semi_sync_master_status=ON。

根据半同步复制原理:主库发生数据变更写binlog,然后等待从库接收并返回ACK,最后在存储引擎层提交数据。这也就是为什么在从库(原主库)一直查不到新主库变更后的数据原因。在默认情况下,半同步复制只有在等待ACK超出 rpl_semi_sync_master_timeout设置的时间才会自动降为异步复制。

这里slave(原主库)被认为是半同步的master,但是没有从库连接他,所以一直在等待从库返回的ACK。等待的时间我们查看rpl_semi_sync_master_timeout变量取值

  1. mysql> show global variables like 'rpl_semi_sync%';
  2. +-------------------------------------------+------------+
  3. | Variable_name | Value |
  4. +-------------------------------------------+------------+
  5. | rpl_semi_sync_master_enabled | ON |
  6. | rpl_semi_sync_master_timeout | 10000000 |
  7. | rpl_semi_sync_master_trace_level | 32 |
  8. | rpl_semi_sync_master_wait_for_slave_count | 1 |
  9. | rpl_semi_sync_master_wait_no_slave | ON |
  10. | rpl_semi_sync_master_wait_point | AFTER_SYNC |
  11. | rpl_semi_sync_slave_enabled | ON |
  12. | rpl_semi_sync_slave_trace_level | 32 |
  13. +-------------------------------------------+------------+
  14. 8 rows in set (0.00 sec)

查看semi-sync参数发现从库同时开启了rpl_semi_sync_master_enabled=ON、rpl_semi_sync_slave_enabled=ON和rpl_semi_sync_master_timeout=10000000(1万秒,默认10秒)。

客户竟然把rpl_semi_sync_master_timeout设置为10万秒,也就是说,原主库要等待10万秒才能自动变为异步并加入集群中同步数据,slave(原主库)无法从集群中继续同步数据的根本原因就在这里。

跟客户沟通后,客户之所以将rpl_semi_sync_master_timeout设置这么大的值,是强调数据强一致性,不希望在任何情况下半同步复制结构降为异步复制,最大限度保证数据一致性。

原理分析

前面涉及到几个sc 复制参数,可能有些同学不太了解,下面给大家简单讲解一下MySQL semi-sync 复制安装配置和原理。 
在MySQL 5.7版本里如果要开启半同步复制,需要在master端安装semisync_master.so库并配置my.cnf

  1. mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
  2. mysql> set global rpl_semi_sync_master_enabled=ON;

在slave端安装semisync_slave.so库并配置my.cnf

  1. mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
  2. mysql> set global rpl_semi_sync_slave_enabled=ON;
  • 在master端看到Rpl_semi_sync_master_status状态变量显示ON状态,就表示master进入半同步复制模式。
  1. mysql> show global status like 'rpl_semi_sync_master_status';
  2. +-----------------------------+-------+
  3. | Variable_name | Value |
  4. +-----------------------------+-------+
  5. | Rpl_semi_sync_master_status | ON |
  6. +-----------------------------+-------+
  • 此时,在slave端会看到Rpl_semi_sync_slave_status显示ON状态,也就表示slave进入半同步复制模式。
  1. mysql> show global status like 'rpl_semi_sync_slave_status';
  2. +-----------------------------+-------+
  3. | Variable_name | Value |
  4. +-----------------------------+-------+
  5. | Rpl_semi_sync_slave_status | ON |
  6. +-----------------------------+-------+

进入半同步复制,客户端在master每提交一个事务,master MySQL将对应事务写入binlog,然后等待slave返回的ACK,之后在存储引擎层提交,最后返回给客户端写入成功的消息。 
如果slave没有返回,master将等待指定超时时间;超过超时时间后,会自动降为异步复制模式。
 

  • 如果master在超时时间内(rpl_semi_sync_master_timeout超时时间,默认10000毫秒)没有收到指定数量(rpl_semi_sync_master_wait_for_slave_count接收slave返回ACK数量,默认1)的slave的ACK回包,master自动降为异步复制模式。
  • 当半同步复制降为异步复制模式,在master端可以看到Rpl_semi_sync_master_status=OFF,在save端可以看到Rpl_semi_sync_slave_status=OFF。
  • 上述master等待行为都发生在rpl_semi_sync_master_wait_no_slave=ON(默认值)情况下。如果rpl_semi_sync_master_wait_no_slave设置为OFF时,连接master的slave的数量少于rpl_semi_sync_master_wait_for_slave_count设置的值,master不会等待超时,立刻自动降为异步复制模式。

    建议

    如果把rpl_semi_sync_master_timeout设置非常大,在主从切换时导致原主库加入集群时同步阻塞,建议把rpl_semi_sync_master_wait_no_slave=OFF。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/28218939/viewspace-2128548/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
杭州沃趣科技股份有限公司创建于2012年(股票代码:839849),是一家专注为企业用户提供基于高性能、高可用、可扩展的开放数据库云平台解决方案的国产厂商。公司创始团队为原阿里巴巴数据库技术团队核心骨干,凭借丰富的研发及运维经验,为行业客户提供数据库云产品及软硬件一体化解决方案。

注册时间:2016-07-18

  • 博文量
    219
  • 访问量
    660649