ITPub博客

首页 > 数据库 > 国内数据库 > KaiwuDB 运维实战:三副本集群滚动升级如何做到不停服,升级路径与硬边界全解析

KaiwuDB 运维实战:三副本集群滚动升级如何做到不停服,升级路径与硬边界全解析

原创 国内数据库 作者:KaiwuDB 时间:2026-11-17 18:06:08 0 删除 编辑
数据库升级能不能不停服,不是命令写法的问题,而是架构和冗余的问题。KaiwuDB 3.x 多副本集群通过 Raft quorum 与 Leaseholder 迁移机制,支持逐节点滚动升级,集群整体服务不中断。本文梳理升级原理、升级前检查、逐节点操作流程与版本硬边界,帮助运维团队判断自家集群能否原地升级、窗口与回滚方案如何制定。

一、停服的根因:一次进程重启

数据库升级涉及系统表变更、元数据迁移、存储格式兼容处理,这些动作大多只能在进程启动阶段完成。「停旧进程 → 换新可执行文件 → 重新打开数据目录并完成迁移」这个序列绕不开。

单机只有一份数据、一个进程,进程一停服务归零;分布式集群只要还有足够副本在线,停掉一个节点数据照样可读可写。 能不能不停服,本质是架构和冗余的问题。

二、三种升级范式的取舍

升级方式 适用拓扑 服务影响 主要代价
停机升级 单机、单副本集群 全量中断,窗口内不可服务 简单可控,窗口取决于数据量与磁盘性能
滚动升级 多副本集群 单节点短暂离开,集群整体可用 依赖副本冗余与客户端多节点接入
双集群/导入导出 跨大版本、异构环境 新旧并行,切换点短暂中断 需要额外机器、数据校验与业务改造

三、滚动升级的机制

KaiwuDB 多副本集群默认 3 副本。每个 Range 在三个节点各存一份,其中一份是 Leaseholder,读写都走它。Raft 超过半数确认才算写入,3 副本 quorum 是 2 票,可承受任意一个节点离线。

滚动升级时,升级节点的副本暂时缺席,另外两份构成多数派,Raft 重新选出 Leaseholder,读写继续;节点带新版本重启、重新入列、数据追平、校验通过后,再动下一个。任意时刻最多一个节点处于「离开」状态,集群保有三分之二副本可用。

链条断掉的三种情况: 副本数不足 3 或已有异常节点;客户端只连单节点地址;单机/单副本部署没有第二份副本。

四、不停服不等于零感知

升级节点停机期间,访问该节点数据的查询会失败一次,重试即可;Leaseholder 迁移瞬间读写可能短暂卡顿;DDL 类操作可能报错;节点重启期间压缩、生命周期等后台任务不执行。这些属于可控抖动,不是服务中断。

抖动类型 触发时机 应对方式
查询失败 升级节点停机期间 应用重试一次
读写卡顿 Leaseholder 迁移瞬间 重试或等待秒级恢复
DDL 报错 节点状态切换时 重试后恢复
后台任务暂停 节点重启期间 升级完成后按周期恢复

五、KaiwuDB 3.x 升级路径与检查

KaiwuDB 3.x 内部支持原地升级,V1.x/V2.x 需走导入导出。不停服升级只对 3.x 集群成立。

集群部署升级前六步:

  1. 确认新版本高于已安装版本;
  2. 3.0.x/3.1.x 升 3.2.0 前,先切换 ts.raft_log.sync_period = '0s' 并等待 5 分钟以上;
  3. 检查集群状态,无异常节点、无不可用分区或副本不足分区;
  4. SHOW JOBS 确认无运行中任务;
  5. 检查 Leaseholder 与副本分布是否均匀;
  6. 备份集群并验证可还原。

关键检查命令:

-- 集群状态
kw-status
-- 副本状态,两个指标必须为 0
SELECT
  sum((metrics->>'ranges.unavailable')::DECIMAL)::INT AS ranges_unavailable,
  sum((metrics->>'ranges.underreplicated')::DECIMAL)::INT AS ranges_underreplicated
FROM kwdb_internal.kv_store_status;
-- 分片分布
SELECT * FROM kwdb_internal.ranges;
-- 运行中任务
SHOW JOBS;

从 3.0.x/3.1.x 升 3.2.0 前需执行:

SET CLUSTER SETTING ts.raft_log.sync_period = '0s';

等待 5 分钟以上,再查询分片状态确认集群正常。

六、逐节点升级:一个节点一个节点地滚

安装程序升级支持命令行、终端图形交互、可视化 GUI 三种模式,动作一致。命令行模式的单节点闭环:停服、升级、改配置、启动、校验,然后换下一个节点。

# 1. 复制安装程序并赋执行权限
chmod +x KaiwuDB-*.run
# 2. 待升级节点停服
sudo systemctl stop kaiwudb
# 3. 执行节点以命令行模式启动安装程序
./KaiwuDB-*.run -c
# 4. 菜单输入 4(升级节点),节点数量填 1
# 5. 升级配置文件 host 改为待升级节点 IP
# 6. 待升级节点修正配置文件 IP(裸机三处)
sudo vim /etc/systemd/system/kaiwudb.service
sudo vim /usr/local/kaiwudb/bin/kw-status.sh
sudo vim /usr/local/kaiwudb/bin/kw-sql.sh
# 7. 重载并启动
sudo systemctl daemon-reload
sudo systemctl start kaiwudb
# 8. 校验通过后再动下一个节点
kw-status

三个工程细节:

  1. 节点数量填 1。 逐个节点升级,确认版本与状态无误再动下一个;一次填成节点总数等于批量停机。
  2. 升级后必须修正配置文件 IP。 裸机改 kaiwudb.service、kw\-status.sh、kw\-sql.sh 三处;容器部署改 docker\-compose.yml,删除 ports 与 deploy.resources,网络改为 host 模式,并把 command 里的 IP 换成实际节点 IP。
  3. 修改 unit 文件后必须先 daemon\-reload 再 start,否则启动的仍是旧配置。

终端图形交互模式用 ./KaiwuDB-*.run -i 启动,GUI 模式用 sudo ./KaiwuDB-*.run -g 启动,后续动作与命令行模式一致。

七、容器镜像升级

容器部署的升级对象是镜像。前提一致:已完成数据和配置备份,已获取新版本镜像。

Docker Compose:

docker load < KaiwuDB.tar          # 加载新版本镜像
docker-compose down                # 停止并移除现有容器
docker rmi ${image_name}           # 删除旧版本镜像
# 修改 docker-compose.yml,更新镜像版本
docker-compose up -d               # 启动新版本
docker-compose ps                  # 检查容器状态

Docker Run:

docker stop <kaiwudb_container>    # 停止容器
docker rm <kaiwudb_container>      # 删除容器
docker load < KaiwuDB.tar          # 加载新版本镜像
docker run -d --name <kaiwudb_container> [原容器参数] <new_image_name>
docker ps                          # 检查容器状态

容器方式解决的是镜像替换,不解决滚动能力。 多副本集群仍需逐节点操作,一次性下线全部容器等同于人为制造全量停机。

八、单机与单副本:停服不可避免,窗口可以压缩

单机部署仅支持离线升级;单副本集群需所有节点先停库,再逐节点执行本地升级,全部完成后统一启动。

systemctl stop kaiwudb      # 所有节点先停库
./deploy.sh upgrade -l      # 每个节点执行本地升级
systemctl start kaiwudb     # 全部节点升完后统一启动

窗口无法消除,但可以通过工程手段压缩:

  1. 安装包提前分发到各节点并赋予执行权限;
  2. 在测试环境完整演练配置修改、许可证、启动顺序;
  3. 备份提前完成并验证可还原;
  4. 停库前用 SHOW JOBS 确认无运行中任务;
  5. 多节点的解压与配置修改并行执行,仅将必须停库的动作留在窗口内。

九、版本硬边界

  1. 升级后不能简单降级。 回退需先卸载当前版本,用原有版本重新安装,再用卸载前创建的备份还原数据;
  2. 备份文件不支持跨大版本还原。 3.0.x 与 3.1.x 之间不能直接还原,仅同一大版本内小版本可互还原;
  3. 导入导出不是无损搬运。 2.x 导出的 meta.sql 含早期时序表 PARTITION INTERVAL 语法,3.1.0 及以后已废弃,导入前需手工删除相关语句;
  4. 三个版本专属前置动作: 3.0.0 升 3.2.0 想用新时序 raft log 存储引擎需先部署全新集群再导入历史数据;多副本集群升 3.2.0 前需切 ts.raft_log.sync_period;三权分立模式下升级到 2.1.1 及后续版本前需删除 seeroot、sysroot、auditroot、secadmin、sysadmin、auditadmin 用户。

十、升级完成后

三种模式走到最后都是同样的三步:

  • 重新申请并配置许可证(企业版升级后需要重新申请);
  • 验证数据完整性;
  • 多副本集群再查一次分片状态,确认没有不可用分片和副本不足,Leaseholder 与副本已重新均衡。
SELECT * FROM kwdb_internal.ranges;

十一、升级 SOP 速查表

阶段 关键动作 通过标准 失败怎么办
升级前 1\-2 周 对升级路径表、准备安装包与测试环境 路径能对应上,测试环境完整走通一遍 路径不匹配,改走导入导出
升级前 3 天 全量备份 + 恢复演练 备份可还原,关键表校验一致 备份不通过,不进入升级
升级前 1 天 客户端多节点接入、资源余量检查 断开任一节点应用可重连,CPU/内存有余量 先扩容或调整接入方式
升级当天 SHOW JOBS 清空、集群健康检查 节点状态全为 true,两个副本指标为 0 存在异常节点,先恢复再升级
逐节点升级 停服、升级、改配置、启动、校验 kw-status 正常、版本正确、无不可用分片 停止后续节点,按备份回滚
升级完成 许可证、数据校验、副本均衡 许可证生效、数据一致、集群状态正常 保留日志并提交问题

十二、结语

把升级要不要停服拆开看,答案由三件事决定: 有没有副本冗余、客户端能不能绕开单点、版本之间是否支持原地升级。三条都成立,滚动升级就是一条安全且可预期的路径;缺任何一条,不停服就只是口号。KaiwuDB 在 3.x 内部给出的正是标准滚动路径:确认升级路径、健康检查、备份、逐节点停服升级、校验、再下一个节点。真正决定成败的,往往是升级前那几项检查有没有老实做完,以及备份到底能不能还原。更多详细内容可前往 官方文档。

获取安装包 免费试用。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70027415/viewspace-3189277/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论
上海沄熹科技有限公司(KaiwuDB)是浪潮集团旗下国产数据库战略核心承载主体,专注 AIoT 场景,「数据 + AI」双轮驱动,以企业级多模时序数据库为核心,配套时序大模型、AI 中台、数智平台及生态工具链,构建新一代物联场景数字底座。

注册时间:2023-03-07

  • 博文量
    286
  • 访问量
    287676