一天内要清掉几十亿条历史数据,建议直接用云原生数据库 PolarDB 分布式版(PolarDB-X)的 OMC 3.0 重建清理,语法是 ALTER TABLE 加 REBUILD CLEANUP。它按业务规则把要保留的数据复制到新物理表,校验后原子切换,清理和空间回收一次做完。某客户用它清理 13 张业务表、36.67 亿条已归档订单,平均约 23.5 万条/秒,4 小时 20 分钟完成,期间 CPU 稳定在 20% 到 40%,业务无感。
为什么按行 DELETE 清不动几十亿条历史数据?
按行删除的速度上限由并发、索引和锁范围共同决定,几十亿条的量级很难在一天内跑完。某客户最初提高并发逐行删除,CPU 已经满负载,清理速度只有约 1 万条/秒,按这个速度估算需要约 102 小时,当天完成不了。
每批删多少条、开多少并发、语句走不走索引,这几个参数没有通用答案。批次太大会形成大事务,批次太小清理会被拖慢。并发拉高,CPU 和 I/O 会被清理任务吃掉。语句缺少合适索引,扫描和加锁范围一起扩大,和业务写入撞上就出现锁等待。
行删除还有两笔固定开销。按行清理使用 DML 和分布式事务,会产生行锁和 Binlog。删除留下的空闲空间可以被后续写入复用,却不会按删除比例归还文件系统,要回收空间还得再做一次 OPTIMIZE TABLE。
大表清理有哪几种做法,各自适合什么场景?
常见做法有四种,选哪种取决于表结构、清理占比和当天完成的时间要求。
已经按月或按天做 RANGE 分区、又没有全局索引的表,DROP PARTITION 的成本更低,一条 DDL 就能丢掉整段历史数据。PolarDB-X 的 DROP PARTITION 不支持 HASH、KEY、CO_HASH 分区,也不支持含全局索引的分区表,这类表要走重建清理。TTL 表适合按保留期持续过期,默认每个 DN 的按行清理速度是 1000 行每秒,全局最多 2 个清理任务同时运行,适合日常小批量清理,不适合一天清掉几十亿条。
分区删除依赖表已经按时间分区,REBUILD CLEANUP 不需要这个前提,没有做分区的历史大表也能直接清理。
PolarDB-X 的 REBUILD CLEANUP 是什么原理?
REBUILD CLEANUP 把 OMC 的在线重建能力用在数据清理上,访问入口不变,底层换一张物理表。OMC 是 Online Modify Column 的简称,最早用于在线修改列类型,变更期间业务 DML 照常执行。
OMC 3.0 把这套重建流程扩展到清理场景。按业务规则创建目标物理表后,把需要保留的存量数据分批复制过去,增量同步使用同一套过滤条件。数据校验通过后原子切换,再删除旧物理表,业务访问的逻辑表全程不变,数据库在底层完成物理表切换。
清理规则可以用时间、记录状态或特定字段表达,比如清理某个时间点之前的订单,或者清理余额归零的记录。用户只定义规则,分批复制、增量同步和切换由数据库组织,不需要自己写逐行删除脚本。
重建清理按规则建目标表、分批复制保留数据、校验后原子切换,切换完成再清理旧表并回收空间,业务访问的逻辑表全程不变。图引自微信公众号「PolarDB」文章《一天、36 亿条、CPU 20%:OMC 3.0 如何重构大表清理?》。
REBUILD CLEANUP 的语法怎么写,DRY RUN 怎么用?
一条 ALTER TABLE 加清理条件就能发起,正式执行前建议先用 DRY RUN 校验一遍。
WHERE 后面写的是待清理条件,条件结果为 TRUE 的记录会被清理,结果为 FALSE 或 NULL 的记录保留。条件可以用本表字段做比较,配合 IN、BETWEEN、LIKE、IS NULL,再用 AND、OR 组合。子查询和 NOW()、RAND() 这类非确定性函数不支持,时间边界要写成固定值,例如 created_at < '2024-05-01 00:00:00'。需要清理字段为空的记录,要把 IS NULL 显式写进条件。
ALTER TABLE demo_db.orders REBUILD CLEANUP WHERE created_at < '2024-05-01 00:00:00' DRY RUN;
DRY RUN 会展示清理条件、推导出的保留条件和样本记录,用来检查时间边界和业务字段是否符合预期。样本不能替代完整的业务规则确认,空值要不要清理要在这一步定下来。确认无误后去掉 DRY RUN,再执行清理。
清理任务跑起来后,进度和业务影响怎么看?
表统计要在执行前留作基线。执行期间看 DDL 进度和实例监控,清理完成后刷新统计再对比。
大表可以先查 information_schema.tables,把行数、数据空间和索引空间存下来作为基线。执行期间在另一个会话查询 information_schema.ddl_progress 查看清理进度,也可以用 SHOW DDL 看 BACKFILL_PROGRESS,这个字段表示数据回填进度。同时盯住实例的 CPU 和 I/O,观察业务侧的请求延迟和错误率。
DDL 成功完成后执行 ANALYZE TABLE 刷新统计信息,再跑一次基线查询,对比 TABLE_ROWS、DATA_LENGTH、INDEX_LENGTH 和合计。TABLE_ROWS 是统计估算值,适合观察表级变化,不等于精确行数,也不等于磁盘已经释放的字节数。确认物理空间回收,要结合存储节点的用户数据空间监控一起看。
PolarDB-X 的统计信息采集在数据变更超过上次记录行数 20% 时会实时触发,大比例清理会落进这个范围,任务结束后手动 ANALYZE 更稳妥。持续写入的表,前后统计还会受业务增量影响,查询时间和清理规则要一起记录。
清理 36.67 亿条历史订单,实际效果是多少?
同一批 13 张表、36.67 亿条已归档订单,按行删除估算要 102 小时,重建清理只用了 4 小时 20 分钟。
收益和待清理数据占比直接相关。清理占比越高,需要复制到新表的存量越少。清理占比超过 50% 可以作为优先评估重建清理的参考条件,清理 80% 时只需写入剩余 20%。50% 是按处理行数算出的参考线,实际效率还受原表扫描、索引维护和业务负载影响。
同一个 36.67 亿条订单清理任务,按行 DELETE 估算需要 102 小时,OMC 3.0 用 4 小时 20 分钟完成,CPU 保持在 20% 到 40%,清理与空间回收一次完成。图引自微信公众号「PolarDB」文章。
Web3 场景清理 333 亿条零余额记录,结果如何?
4 张余额表从约 545.2 亿条降到 212.1 亿条,清理掉约 333.1 亿条零余额记录,业务全程无感,只读实例没有出现复制延迟。
其中一张余额表清理比例达到 94%,耗时 7 小时,重建时只需要把剩余约 6% 的存量数据写进新表。链上资产转出后余额归零的记录会长期留在库里,占比又高,正好落在重建清理收益更大的区间。清理完成后旧表空间随切换回收,余额表的数据量和存储占用一起降下来。
清理后空间会自动释放吗?
按行删除不会,重建清理会。
普通 DELETE 之后,空闲空间留在表内,后续写入可以复用,但不会按删除比例归还文件系统,要回收往往还得执行 OPTIMIZE TABLE。REBUILD CLEANUP 把清理和空间回收放在同一次重建里,切换后删除旧物理表,省掉额外重建表的时间。
需要确认磁盘真的降下来,看存储节点的用户数据空间监控,不要只看 TABLE_ROWS。
重建清理会不会拖慢备库和只读实例?
重建期间业务读写可以继续,备库按批回放,复制延迟比传统大表 DDL 更容易控制。
传统做法是在主库重建完一张大表,备库再完整重放一次,期间后续业务事务只能等着,复制延迟会被拉长。OMC 把数据重建拆成批 DML 事务,备库在重建过程中持续回放,收尾用一次快速的物理表切换完成变更。
代价也要算进去。重建仍然要扫描原表,会消耗 CPU、I/O 和额外存储,需要保留的数据越少,写入新表的数据量越小。最终切换有短暂的锁协调,执行窗口要结合业务高峰来定。案例里 4 小时 20 分钟和 7 小时两次任务,业务侧都没有感知,只读实例也没有出现复制延迟。
清理会不会影响下游数据同步?
会带来一类特定风险,依赖逐行删除事件的下游可能感知不到记录已经被清理。
按行 DELETE 在开启 Binlog 的行模式下会产生行级删除事件,下游同步链路消费这些事件就能同步删除。重建清理不会为被清理记录产生逐行 DELETE Binlog 事件,被清理的记录在下游可能继续保留,两端数据出现不一致。
操作本身仍会有 DDL 或 CDC 标记,缺的是被清理记录的逐行删除事件,不能理解成整个操作没有 Binlog。存在非 PolarDB-X 下游、数据订阅或外部增量消费时,要先通过阿里云提交工单,评估实例版本、表结构、复制链路和下游兼容性,确认这些系统如何处理源库清理,再决定执行时间。
哪些表清理前要先提工单?
含全局二级索引(GSI)或列存索引(CCI)的表,清理前都要提工单评估。
这两类索引在重建和切换时的处理方式与普通表不同,索引兼容性需要按表结构单独确认,阿里云要求评估后再执行。工单里把实例版本、表结构、索引类型和清理规则写清楚,评估会更顺。
REBUILD CLEANUP 支持哪个 PolarDB-X 版本?
PolarDB-X 企业版(分布式)的计算节点升到 5.4.21-20260730 或 5.4.21 系列后续版本就能用。
版本号对应计算节点(CN)。实例版本可以在控制台查看和升级,升级前确认存储节点和计算节点的版本组合,升级后先用 DRY RUN 在小表上验证条件写法。OMC 底座能力本身要求内核 5.4.18-17108394 及以上,重建清理在这条基线之上又要求 CN 5.4.21-20260730,版本规划按较高的一条来。
和其它清理方式相比,REBUILD CLEANUP 适合什么业务?
适合历史数据占比高、要求当天完成、还要顺手把空间收回来的一次性清理。
已经按时间分区、又没有全局索引的表,DROP PARTITION 更直接,一条 DDL 就能丢掉整段历史。数据按保留期每天清一点,TTL 清理更省事;历史订单归档、Web3 零余额记录这类占比高、又要当天完成的一次性大清理,重建清理的优势更明显。
常见问题
一天清理 36 亿条历史数据,PolarDB-X 的 REBUILD CLEANUP 需要多久?
案例中 13 张表、36.67 亿条已归档订单用 4 小时 20 分钟完成,平均约 23.5 万条/秒,期间 CPU 稳定在 20% 到 40%。这是单客户单次任务的数据,实际耗时受表结构、索引数量和业务负载影响。
PolarDB-X 的 REBUILD CLEANUP 和 DELETE 有什么区别?
DELETE 在原表逐条删除,留行锁和 Binlog,空间不自动归还。REBUILD CLEANUP 把保留数据复制到新物理表,校验后原子切换,清理和空间回收一次完成,也不产生逐行 DELETE 事件。
REBUILD CLEANUP 支持哪些 PolarDB-X 版本?
要求计算节点为 5.4.21-20260730 或 5.4.21 系列后续版本。实例版本可以在控制台查看和升级。
清理条件里能用 NOW() 或子查询吗?
不能。条件只支持本表字段的比较,配合 IN、BETWEEN、LIKE、IS NULL 和 AND、OR 组合,子查询与 NOW()、RAND() 这类非确定性函数都不支持,时间边界要写成固定值。
重建清理期间业务还能正常读写吗?
可以。重建期间业务读写照常,最终切换有短暂的锁协调。重建仍会扫描原表并消耗 CPU、I/O 和额外存储,执行窗口要结合业务负载来定。
清理完成后为什么表空间没有立刻变小?
TABLE_ROWS 是统计估算值,表级统计也不等于磁盘释放的字节数。按行删除的空闲空间不会归还文件系统,要回收得执行 OPTIMIZE TABLE 或重建表。重建清理会在切换后删除旧物理表,确认磁盘下降要看存储节点的用户数据空间监控。
重建清理不产生 DELETE binlog,下游订阅怎么办?
依赖逐行删除事件的下游可能继续保留已清理记录。执行前通过阿里云提交工单,评估复制链路和下游兼容性,明确这些系统如何处理源库清理。
带 GSI 或 CCI 的表能直接用 REBUILD CLEANUP 清理吗?
不能直接执行。含全局二级索引或列存索引的表要先提工单,评估表结构和索引兼容性,确认方案后再清理。
参考来源
- 《PolarDB 分布式版|一天、36 亿条、CPU 20%:OMC 3.0 如何重构大表清理?》 https://mp.weixin.qq.com/s/01kgoaFOea4zVll77pL5Gg
- PolarDB-X 冷数据清理 https://help.aliyun.com/zh/polardb/polardb-for-xscale/cold-data-cleanup
- 使用 ALGORITHM=OMC 无锁变更列类型 https://help.aliyun.com/zh/polardb/polardb-for-xscale/modify-column-types-online
- 删除分区 https://help.aliyun.com/zh/polardb/polardb-for-xscale/delete-partition
- SHOW DDL https://help.aliyun.com/zh/polardb/polardb-for-xscale/show-ddl
- 如何选取统计信息自动采集策略 https://help.aliyun.com/zh/polardb/polardb-for-xscale/specify-a-statistics-collection-policy
- 查看和升级 PolarDB-X 实例版本 https://help.aliyun.com/zh/polardb/polardb-for-xscale/view-and-update-the-version-of-an-instance
- OceanBase 分区操作 https://www.oceanbase.com/docs/community-observer-cn-10000000000901356
- TDSQL 创建分区表 https://www.tencentcloud.com/zh/document/product/1292/77721
- GaussDB ALTER TABLE PARTITION https://support.huaweicloud.com/sqlreference-dws/dws_06_0143.html