前几天，我们的linux-HA 的主从数据库同时poweroff 了

系统宕机，

在6月份也莫名其妙的发生过一次，当时不得其解，将其归结为偶然事件。

这次再发生就不能放过了，可以用重现，说明问题是存在的。

问题发生后，我们的猜测： 1 是主机ipmi 部件有bug，在特定条件下无法响应 fence设备的请求，导致发送了reboot命令后

impi设备只执行了poweroff 或者就干脆 fence设备，解析错了pacemaker 的指令，吧reboot 解析为poweroff

2 fence设备对reboot 命令的执行不是原子的，即需要向主机ipmi设备提交两次指令，先提交poweroff 然后再提交poweron 指令

strace 了 fence-ipmilan 的执行发现他是通过调用 impitool 的lib库来执行的，而不是直接调用ipmitool 这个client命令来执行，

把我们当初设想的，为ipmitool 写个shell 来包装的做法给否决了。

那么就只有查看fence_ipmilan的源代码来分析了。

			
							1
						
							if (!strcasecmp(op, "reboot")) {                printf("Rebooting machine @ IPMI:%s...", ip);                fflush(stdout);                if(!strcasecmp(method, "cycle")) {                        ret = ipmi_op(i, ST_STATUS, power_status);
						
							2
						
							                if (ret == STATE_OFF) {                                /* State is off -> use onoff method because cycle is not able to turn on*/                                snprintf(method, sizeof(method), "onoff");                        }                }
						
							3
						
							        if (!strcasecmp(method, "cycle")) {                        ret = ipmi_cycle(i);                } else {                        /* Original onoff method */                        ret = ipmi_off(i);                        translated_ret = (ret==0?ERR_OFF_SUCCESSFUL:ERR_OFF_FAIL);                       if (ret != 0) {                                goto out;                        }                        ret = ipmi_on(i);                }

通过查看源代码，就是这里了，印证了我们的猜测，fence-ipmilan 是对reboot 的操作不是原子的，而是分拆为两个命令来提交到主机的ipmi模块。

到这里，我们就可以反推出当时主机同时宕机的原因了。

先是是主库发现从库离线，然后启动fence设备去reboot 从库，对从库发送了reboot命令，但是当只提交了一个poweroff 的时候，

这个时候从库也发现了主库离线了，从库也启用fence设备去reboot 主库，这个时候，主库还在等待，ipmi 返回poweroff 的执行状态，

还没有向从库提交poweron 的指令，所以从库就直接poweroff 了，而主库的ipmi设备接收了从库的reboot命令只完成了poeeroff ，

但是从库已经被主库关机了，这个时候，它已经无法发出剩下的那个poweron请求了。

从这里我们猜测当时应该是集群发生脑裂了。两台机器同时认为对方发生了离线了，需要把对方fence 掉。

而且对端主机的对reboot 的返回，都没有完成，就出现这个问题了。

关于解决方案，双机模式下，确实发生脑裂的几率会大很多，

目前想到的一个比较可行的方案：对其中一台fence设备，设置一个合适的时间间隔，等待一个时间后，再fence掉对方，

而另一台机器则直接fence 对方的机器，这样即使发生了脑裂，应该只有一台机器会把对方fence掉

这里可能会发生一个情况，对方机器启动后，会继续fence对方，还是要经过双方都要重启一次。

另一个方案是只部署一个fence设备，只fence 一台机器，但是这个情况需要测试。

经过测试，这个方式是可行的，一台机器利用delay 选项演示fence 另一台机器直接fence 可以解决这个问题。

ITPub博客

fence_ipmilan 的一个缺陷

最新文章