今 天 是 清 明 节 假 日 第 一 天 ， 收 到 客 户 请 求 ， 我 们 的 r e d i s 出 问 题 了 帮 忙 看 看 ！

程 序 的 报 错 日 志 提 供 如 图

登 录 该 套 r e d i s 集 群 查 看 节 点 信 息 与 集 群 状 态

根 据 现 场 状 态 与 监 控 ， 迅 速 做 出 判 断 与 推 理

第 一 时 间 内 给 出 个 人 的 建 议 ： 建 议 重 启 部 分 异 常 程 序 ， 业 务 全 部 恢 复 正 常 ！

业 务 已 经 恢 复 了 ， 那 继 续 来 修 复 这 个 f a i l 的 异 常 r e d i s 从 节 点 吧 。 从 r e d i s 的 f a i l 主 从 节 点 日 志 入 手 。

从 节 点 r e d i s 日 志 信 息 ：

主 节 点 r e d i s 日 志 信 息 ：

简 要 的 讲 :

大 致 是     全 量 同 步 >     清 除 旧 数 据   &   加 载   R D B   >   和 主 库 连 接 中 断 > 从 头 开 始 ， 无 限 循 环

有 2 个 疑 问 ：

Q 1 ： 从 库   U n a b l e   t o   p a r t i a l   r e s y n c

r e p l - b a c k l o g - s i z e   默 认 只 有 1 0 M ， 而 从 库 节 点 从 宕 机 到 完 成 启 动 耗 时 大 约 8 分 钟 ， 此 时 缓 冲 区 中 的 复 制 位 点 早 被 覆 盖 ， 主 库 报 U n a b l e   t o   p a r t i a l   r e s y n c   w i t h   r e p l i c a   1 7 2 . 2 8 . 2 1 2 . 4 0 : 6 3 8 0   f o r   l a c k   o f   b a c k l o g

Q 2 ： 从 库   C o n n e c t i o n   w i t h   m a s t e r   l o s t

主 库 将 全 量   R D B   成 功 发 送 到 从 库 ； 从 库 清 理 旧 数 据 ， 期 间   r e d i s   全 程 阻 塞 无 法 响 应 ， 1 0 多 秒 后   c l u s e r   检 测 到 并 在 主 库 日 志 记 录   F A I L   m e s s a g e   ， 报 D i s c o n n e c t i n g   t i m e d o u t   r e p l i c a :   1 7 2 . 2 8 . 2 1 2 . 4 0 : 6 3 8 0   这 是   c l u s t e r - n o d e - t i m e o u t   超 时 导 致 的 ， 该 参 数 为 1 5 0 0 0 即 1 5 s ； 估 计 主 库 检 测 到 从 库 连 接 超 时 就 主 动 断 开 连 接 ；

解 决 方 案 ：

1 、 将   r e p l - b a c k l o g - s i z e   默 认 的 1 0 M B   调 大 到   5 1 2 M B , 如 果 继 续 无 法 满 足 增 量 同 步 需 求 ， 则 继 续 调 大

2 、 关 注   r e p l - t i m e o u t   默 认 6 0 秒 ， c l u s t e r - n o d e - t i m e o u t   默 认 1 5 秒 ， 数 据 量 大 而 变 化 频 繁 的 r e d i s 集 群 适 当 调 大