Timeout waiting for connectionREADONLY You can't write against a read-only replica

‍2）Redis 集群监控显示

主节点 CPU 使用率接近 100%。节点间通信出现延迟波动。慢查询日志中存在大量命令。

网络抖动导致主从切换（failover），部分请求发送到了只读节点。客户端连接池配置不当或连接耗尽。应用层滥用高耗时命令（如 keys、hgetall 等）。节点内存不足或硬件问题（例如磁盘性能）。

• 集群频繁出现 LOADING Redis is loading the dataset in memory，意味着节点重启后在加载数据。
• 间歇性出现 FAILOVER 日志，主从角色切换。
• 有大量 CLIENT_KILL 日志，表示 Redis 主动断开了一些客户端连接。

• 使用 ping 和 mtr 工具检查应用服务器与 Redis 节点间的网络连接，发现延迟波动较大。
• 部分节点的 INFO replication 输出中显示 master_link_down_since_seconds > 0，表明主从连接中断。

• 大量 KEYS 命令在慢查询中占比高。
• 某些哈希表的 hgetall 命令返回了超过 10000 行结果。

• 部分节点的内存使用接近限制，触发了 Redis 的内存回收策略（eviction）。
• 主节点的 CPU 使用率高达 95%~100%，主要由大键（big keys）操作导致。

tcp-keepalive 60

• 调整连接池配置： 增加连接池最大连接数，减少 timeout waiting for connection 错误。
• 优化连接策略： 使用支持 Redis Sentinel 或 Cluster 模式的客户端，以便自动识别主从节点。

• 避免使用高耗时命令：
• 将所有 KEYS 替换为 SCAN 命令，分批获取键，降低主节点压力。
• 针对 hgetall，按需使用字段过滤（如 hmget）。
• 大键拆分： 针对慢查询日志中的大键，优化为小粒度存储。例如将一个大的 hash 拆分为多个子 hash。

• 增加慢查询阈值报警： 设置 slowlog-log-slower-than 参数并定期分析慢查询日志。

slowlog-log-slower-than 10000  # 单位：微秒slowlog-max-len 128

• 内存优化：使用 maxmemory-policy 参数合理选择淘汰策略，例如 allkeys-lru。

  maxmemory-policy allkeys-lru

• 限制客户端请求频率：启用 client-output-buffer-limit 限制客户端的流量峰值。

• 修复主从断开问题：
• 优化磁盘性能（如更换为 SSD）。
• 调整从节点的 repl-backlog-size 参数，增加主从同步的缓冲区大小，减少全量同步触发几率。

repl-backlog-size 128mb

• 生产环境中 Redis 问题通常是网络、资源和命令使用模式的综合问题。
• 通过合理的配置优化、应用程序调整以及资源监控，可以高效排查并修复中间件问题。

近期热文:

• 云计算架构师韩先超亲身经历 | 记录从大学到现在工作经历
• 我的2024年终总结：在坚持中成长，在选择中前行
• 云计算架构师韩先超对咪咕进行【K8S超大规模集群与AI赋能算力网络调度】培训
• 对合肥电信进行线下Kubernetes技术培训
• 推荐书籍：《Kubernetes从入门到DevOps企业应用实战》——韩老师以企业实战为背景出版的一本高质量书籍：销量突破1万

• docker镜像加速器又又被封了：新整理一批可以用的|无需代理，国内可访问

• 运维秘籍：20个常识，关键时刻能救命！

• 深度解析 Kubernetes API Server 性能优化：关键参数配置指南|k8s调优指南

• 提升运维效率：Linux和Kubernetes常见故障的20种解决方案

• K8s Scheduler Pod 启动失败：Error: failed to reserve container name

• Dockerfile超详细教程：案例+指令+编写技巧

• 全面掌握：Linux运维面试必备题库（服务器、网络、Docker、K8s、DevOps等）
• 大规模场景下K8S集群设计|大企业5000个节点k8s架构设计|第1集
  
• 大规模K8S集群的网络与存储优化：5000+节点规模| 第2集
• 高效运用 GPU：在 Kubernetes 集群中动态管理 GPU 资源
• Centos停更了，基于业务场景选择合适的操作系统替代Centos。

欢迎关注我的公众号「DevOps和k8s全栈技术」，进公众号【服务】栏，可以看到技术群，点击即可加入到学习交流群。↓↓↓