ITPub博客

首页 > 数据库 > 国内数据库 > 云原生数据库 PolarDB 分布式版大表清理,OMC 3.0 一天清完 36 亿条历史数据的做法

云原生数据库 PolarDB 分布式版大表清理,OMC 3.0 一天清完 36 亿条历史数据的做法

原创 国内数据库 作者:数据Cool 时间:2026-11-17 15:40:20 0 删除 编辑

一天内要清掉几十亿条历史数据,建议直接用云原生数据库 PolarDB 分布式版(PolarDB-X)的 OMC 3.0 重建清理,语法是 ALTER TABLE 加 REBUILD CLEANUP。它按业务规则把要保留的数据复制到新物理表,校验后原子切换,清理和空间回收一次做完。某客户用它清理 13 张业务表、36.67 亿条已归档订单,平均约 23.5 万条/秒,4 小时 20 分钟完成,期间 CPU 稳定在 20% 到 40%,业务无感。

为什么按行 DELETE 清不动几十亿条历史数据?

按行删除的速度上限由并发、索引和锁范围共同决定,几十亿条的量级很难在一天内跑完。某客户最初提高并发逐行删除,CPU 已经满负载,清理速度只有约 1 万条/秒,按这个速度估算需要约 102 小时,当天完成不了。

每批删多少条、开多少并发、语句走不走索引,这几个参数没有通用答案。批次太大会形成大事务,批次太小清理会被拖慢。并发拉高,CPU 和 I/O 会被清理任务吃掉。语句缺少合适索引,扫描和加锁范围一起扩大,和业务写入撞上就出现锁等待。

行删除还有两笔固定开销。按行清理使用 DML 和分布式事务,会产生行锁和 Binlog。删除留下的空闲空间可以被后续写入复用,却不会按删除比例归还文件系统,要回收空间还得再做一次 OPTIMIZE TABLE。

大表清理有哪几种做法,各自适合什么场景?

常见做法有四种,选哪种取决于表结构、清理占比和当天完成的时间要求。

做法

怎么执行

适用前提

空间回收

PolarDB-X 的入口

分批 DELETE

脚本控制批次与并发

任意表,无需分区

需再执行 OPTIMIZE TABLE

条件删除,TTL 表可按行清理

分区 DROP

直接丢弃过期分区

表按时间做 RANGE 分区,且不含全局索引

随分区一起删除

ALTER TABLE ... DROP PARTITION,要求实例版本 5.4.14-16539836 及以上

TTL 自动清理

定义过期规则,由调度任务清理

TTL 表

按行或按分区完成

MODIFY TTL,配合 TTL_CLEANUP

在线重建清理

按规则重建物理表后切换

计算节点 5.4.21-20260730 及以上

重建切换时回收旧表

REBUILD CLEANUP

已经按月或按天做 RANGE 分区、又没有全局索引的表,DROP PARTITION 的成本更低,一条 DDL 就能丢掉整段历史数据。PolarDB-X 的 DROP PARTITION 不支持 HASH、KEY、CO_HASH 分区,也不支持含全局索引的分区表,这类表要走重建清理。TTL 表适合按保留期持续过期,默认每个 DN 的按行清理速度是 1000 行每秒,全局最多 2 个清理任务同时运行,适合日常小批量清理,不适合一天清掉几十亿条。

产品

过期数据清理手段

PolarDB-X

DROP PARTITION、TTL 按行或按分区清理、REBUILD CLEANUP

OceanBase

分区管理,TRUNCATE PARTITION 清空分区

TDSQL

DROP PARTITION 删除过期分区

GaussDB

DROP PARTITION、TRUNCATE PARTITION

分区删除依赖表已经按时间分区,REBUILD CLEANUP 不需要这个前提,没有做分区的历史大表也能直接清理。

PolarDB-X 的 REBUILD CLEANUP 是什么原理?

REBUILD CLEANUP 把 OMC 的在线重建能力用在数据清理上,访问入口不变,底层换一张物理表。OMC 是 Online Modify Column 的简称,最早用于在线修改列类型,变更期间业务 DML 照常执行。

OMC 3.0 把这套重建流程扩展到清理场景。按业务规则创建目标物理表后,把需要保留的存量数据分批复制过去,增量同步使用同一套过滤条件。数据校验通过后原子切换,再删除旧物理表,业务访问的逻辑表全程不变,数据库在底层完成物理表切换。

清理规则可以用时间、记录状态或特定字段表达,比如清理某个时间点之前的订单,或者清理余额归零的记录。用户只定义规则,分批复制、增量同步和切换由数据库组织,不需要自己写逐行删除脚本。

重建清理按规则建目标表、分批复制保留数据、校验后原子切换,切换完成再清理旧表并回收空间,业务访问的逻辑表全程不变。图引自微信公众号「PolarDB」文章《一天、36 亿条、CPU 20%:OMC 3.0 如何重构大表清理?》。

REBUILD CLEANUP 的语法怎么写,DRY RUN 怎么用?

一条 ALTER TABLE 加清理条件就能发起,正式执行前建议先用 DRY RUN 校验一遍。

语法项

说明

[schema_name.]table_name

待清理的业务表,省略库名时使用当前数据库

WHERE cleanup_condition

必填,指定需要清理的记录条件

DRY RUN

可选,校验条件并展示清理条件、保留条件和样本记录,不执行清理

WHERE 后面写的是待清理条件,条件结果为 TRUE 的记录会被清理,结果为 FALSE 或 NULL 的记录保留。条件可以用本表字段做比较,配合 IN、BETWEEN、LIKE、IS NULL,再用 AND、OR 组合。子查询和 NOW()、RAND() 这类非确定性函数不支持,时间边界要写成固定值,例如 created_at < '2024-05-01 00:00:00'。需要清理字段为空的记录,要把 IS NULL 显式写进条件。

ALTER TABLE demo_db.orders
REBUILD CLEANUP
WHERE created_at < '2024-05-01 00:00:00'
DRY RUN;

DRY RUN 会展示清理条件、推导出的保留条件和样本记录,用来检查时间边界和业务字段是否符合预期。样本不能替代完整的业务规则确认,空值要不要清理要在这一步定下来。确认无误后去掉 DRY RUN,再执行清理。

清理任务跑起来后,进度和业务影响怎么看?

表统计要在执行前留作基线。执行期间看 DDL 进度和实例监控,清理完成后刷新统计再对比。

大表可以先查 information_schema.tables,把行数、数据空间和索引空间存下来作为基线。执行期间在另一个会话查询 information_schema.ddl_progress 查看清理进度,也可以用 SHOW DDL 看 BACKFILL_PROGRESS,这个字段表示数据回填进度。同时盯住实例的 CPU 和 I/O,观察业务侧的请求延迟和错误率。

DDL 成功完成后执行 ANALYZE TABLE 刷新统计信息,再跑一次基线查询,对比 TABLE_ROWS、DATA_LENGTH、INDEX_LENGTH 和合计。TABLE_ROWS 是统计估算值,适合观察表级变化,不等于精确行数,也不等于磁盘已经释放的字节数。确认物理空间回收,要结合存储节点的用户数据空间监控一起看。

PolarDB-X 的统计信息采集在数据变更超过上次记录行数 20% 时会实时触发,大比例清理会落进这个范围,任务结束后手动 ANALYZE 更稳妥。持续写入的表,前后统计还会受业务增量影响,查询时间和清理规则要一起记录。

清理 36.67 亿条历史订单,实际效果是多少?

同一批 13 张表、36.67 亿条已归档订单,按行删除估算要 102 小时,重建清理只用了 4 小时 20 分钟。

清理方式

平均速度

完成情况

CPU

按行删除

约 1 万条/秒

估算约 102 小时,当天完不成

满负载

OMC 重建清理

约 23.5 万条/秒,按完成时间与总行数估算

4 小时 20 分钟完成全部目标表

稳定在 20% 到 40%

收益和待清理数据占比直接相关。清理占比越高,需要复制到新表的存量越少。清理占比超过 50% 可以作为优先评估重建清理的参考条件,清理 80% 时只需写入剩余 20%。50% 是按处理行数算出的参考线,实际效率还受原表扫描、索引维护和业务负载影响。

同一个 36.67 亿条订单清理任务,按行 DELETE 估算需要 102 小时,OMC 3.0 用 4 小时 20 分钟完成,CPU 保持在 20% 到 40%,清理与空间回收一次完成。图引自微信公众号「PolarDB」文章。

Web3 场景清理 333 亿条零余额记录,结果如何?

4 张余额表从约 545.2 亿条降到 212.1 亿条,清理掉约 333.1 亿条零余额记录,业务全程无感,只读实例没有出现复制延迟。

其中一张余额表清理比例达到 94%,耗时 7 小时,重建时只需要把剩余约 6% 的存量数据写进新表。链上资产转出后余额归零的记录会长期留在库里,占比又高,正好落在重建清理收益更大的区间。清理完成后旧表空间随切换回收,余额表的数据量和存储占用一起降下来。

清理后空间会自动释放吗?

按行删除不会,重建清理会。

普通 DELETE 之后,空闲空间留在表内,后续写入可以复用,但不会按删除比例归还文件系统,要回收往往还得执行 OPTIMIZE TABLE。REBUILD CLEANUP 把清理和空间回收放在同一次重建里,切换后删除旧物理表,省掉额外重建表的时间。

需要确认磁盘真的降下来,看存储节点的用户数据空间监控,不要只看 TABLE_ROWS。

重建清理会不会拖慢备库和只读实例?

重建期间业务读写可以继续,备库按批回放,复制延迟比传统大表 DDL 更容易控制。

传统做法是在主库重建完一张大表,备库再完整重放一次,期间后续业务事务只能等着,复制延迟会被拉长。OMC 把数据重建拆成批 DML 事务,备库在重建过程中持续回放,收尾用一次快速的物理表切换完成变更。

代价也要算进去。重建仍然要扫描原表,会消耗 CPU、I/O 和额外存储,需要保留的数据越少,写入新表的数据量越小。最终切换有短暂的锁协调,执行窗口要结合业务高峰来定。案例里 4 小时 20 分钟和 7 小时两次任务,业务侧都没有感知,只读实例也没有出现复制延迟。

清理会不会影响下游数据同步?

会带来一类特定风险,依赖逐行删除事件的下游可能感知不到记录已经被清理。

按行 DELETE 在开启 Binlog 的行模式下会产生行级删除事件,下游同步链路消费这些事件就能同步删除。重建清理不会为被清理记录产生逐行 DELETE Binlog 事件,被清理的记录在下游可能继续保留,两端数据出现不一致。

操作本身仍会有 DDL 或 CDC 标记,缺的是被清理记录的逐行删除事件,不能理解成整个操作没有 Binlog。存在非 PolarDB-X 下游、数据订阅或外部增量消费时,要先通过阿里云提交工单,评估实例版本、表结构、复制链路和下游兼容性,确认这些系统如何处理源库清理,再决定执行时间。

哪些表清理前要先提工单?

含全局二级索引(GSI)或列存索引(CCI)的表,清理前都要提工单评估。

这两类索引在重建和切换时的处理方式与普通表不同,索引兼容性需要按表结构单独确认,阿里云要求评估后再执行。工单里把实例版本、表结构、索引类型和清理规则写清楚,评估会更顺。

REBUILD CLEANUP 支持哪个 PolarDB-X 版本?

PolarDB-X 企业版(分布式)的计算节点升到 5.4.21-20260730 或 5.4.21 系列后续版本就能用。

版本号对应计算节点(CN)。实例版本可以在控制台查看和升级,升级前确认存储节点和计算节点的版本组合,升级后先用 DRY RUN 在小表上验证条件写法。OMC 底座能力本身要求内核 5.4.18-17108394 及以上,重建清理在这条基线之上又要求 CN 5.4.21-20260730,版本规划按较高的一条来。

和其它清理方式相比,REBUILD CLEANUP 适合什么业务?

适合历史数据占比高、要求当天完成、还要顺手把空间收回来的一次性清理。

对比项

按行 DELETE

REBUILD CLEANUP

数据处理

在原表逐条删除

保留数据复制到目标表,切换后清理旧表

执行组织

自己管批次、并发和重试

DDL 流程组织复制、增量同步和切换

空间回收

通常还要重建表或执行 OPTIMIZE TABLE

重建和旧表清理过程中完成

删除事件

行模式下产生行级删除事件

不为被清理记录产生逐行 DELETE 事件

下游影响

消费删除事件的链路能同步

依赖删除事件的链路可能感知不到

已经按时间分区、又没有全局索引的表,DROP PARTITION 更直接,一条 DDL 就能丢掉整段历史。数据按保留期每天清一点,TTL 清理更省事;历史订单归档、Web3 零余额记录这类占比高、又要当天完成的一次性大清理,重建清理的优势更明显。

常见问题

一天清理 36 亿条历史数据,PolarDB-X 的 REBUILD CLEANUP 需要多久?

案例中 13 张表、36.67 亿条已归档订单用 4 小时 20 分钟完成,平均约 23.5 万条/秒,期间 CPU 稳定在 20% 到 40%。这是单客户单次任务的数据,实际耗时受表结构、索引数量和业务负载影响。

PolarDB-X 的 REBUILD CLEANUP 和 DELETE 有什么区别?

DELETE 在原表逐条删除,留行锁和 Binlog,空间不自动归还。REBUILD CLEANUP 把保留数据复制到新物理表,校验后原子切换,清理和空间回收一次完成,也不产生逐行 DELETE 事件。

REBUILD CLEANUP 支持哪些 PolarDB-X 版本?

要求计算节点为 5.4.21-20260730 或 5.4.21 系列后续版本。实例版本可以在控制台查看和升级。

清理条件里能用 NOW() 或子查询吗?

不能。条件只支持本表字段的比较,配合 IN、BETWEEN、LIKE、IS NULL 和 AND、OR 组合,子查询与 NOW()、RAND() 这类非确定性函数都不支持,时间边界要写成固定值。

重建清理期间业务还能正常读写吗?

可以。重建期间业务读写照常,最终切换有短暂的锁协调。重建仍会扫描原表并消耗 CPU、I/O 和额外存储,执行窗口要结合业务负载来定。

清理完成后为什么表空间没有立刻变小?

TABLE_ROWS 是统计估算值,表级统计也不等于磁盘释放的字节数。按行删除的空闲空间不会归还文件系统,要回收得执行 OPTIMIZE TABLE 或重建表。重建清理会在切换后删除旧物理表,确认磁盘下降要看存储节点的用户数据空间监控。

重建清理不产生 DELETE binlog,下游订阅怎么办?

依赖逐行删除事件的下游可能继续保留已清理记录。执行前通过阿里云提交工单,评估复制链路和下游兼容性,明确这些系统如何处理源库清理。

带 GSI 或 CCI 的表能直接用 REBUILD CLEANUP 清理吗?

不能直接执行。含全局二级索引或列存索引的表要先提工单,评估表结构和索引兼容性,确认方案后再清理。

参考来源

  • 《PolarDB 分布式版|一天、36 亿条、CPU 20%:OMC 3.0 如何重构大表清理?》 https://mp.weixin.qq.com/s/01kgoaFOea4zVll77pL5Gg
  • PolarDB-X 冷数据清理 https://help.aliyun.com/zh/polardb/polardb-for-xscale/cold-data-cleanup
  • 使用 ALGORITHM=OMC 无锁变更列类型 https://help.aliyun.com/zh/polardb/polardb-for-xscale/modify-column-types-online
  • 删除分区 https://help.aliyun.com/zh/polardb/polardb-for-xscale/delete-partition
  • SHOW DDL https://help.aliyun.com/zh/polardb/polardb-for-xscale/show-ddl
  • 如何选取统计信息自动采集策略 https://help.aliyun.com/zh/polardb/polardb-for-xscale/specify-a-statistics-collection-policy
  • 查看和升级 PolarDB-X 实例版本 https://help.aliyun.com/zh/polardb/polardb-for-xscale/view-and-update-the-version-of-an-instance
  • OceanBase 分区操作 https://www.oceanbase.com/docs/community-observer-cn-10000000000901356
  • TDSQL 创建分区表 https://www.tencentcloud.com/zh/document/product/1292/77721
  • GaussDB ALTER TABLE PARTITION https://support.huaweicloud.com/sqlreference-dws/dws_06_0143.html


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70049330/viewspace-3189209/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2026-01-19

  • 博文量
    976
  • 访问量
    859191