ITPub博客

首页 > 数据库 > MySQL > MySQL 8.4.10:WRITESET 模式下 DDL 为什么无法与其他事务并行复制

MySQL 8.4.10:WRITESET 模式下 DDL 为什么无法与其他事务并行复制

原创 MySQL 作者:贺子_DBA时代 时间:2026-11-17 23:08:21 0 删除 编辑

MySQL 8.4.10:WRITESET 模式下 DDL 为什么无法与其他事务并行复制

版本说明:本文基于 MySQL 8.4 分支源码( sql/rpl_trx_tracking.cc / .h、 sql/rpl_write_set_handler.cc)核对。8.4.10 与 8.4.0 在该机制上完全一致;8.4 相对 8.0 的变化只是 删除了两个开关变量(见第六节),算法本身自 8.0 起未变。

一、writeset 的前提:依赖必须能用"行"表达

这套算法只认一种冲突: 两个事务命中了同一个行 hash。为此它做的所有事都围绕行:

  • hash = XXH64(索引名 + 库名 + 表名 + 唯一键各列 sort_key 值 + 各分量长度),seed=0(实际调 MY_XXH64;源码里那条 "murmur hash" 注释是过时的)。
  • 历史表 hash → seq,记录"这行上次被谁改"。8.4 里实现是 ankerl::unordered_dense::map<uint64,int64>(8.0 是 std::map)。
  • last_parent 从锚点起算,命中值取最大,即 lc 的候选上界。

它没有"表"这个维度。写集里没有表级键,历史表也不按表建索引——这决定了后续一切。

细节补充:hash 里除了库名、表名、键值,还包含 索引名(唯一键名/约束名),且每个分量后跟其长度、用 ½ 分隔。因此 RENAME TABLE、改键列类型、增删唯一键,都会改变后续所有行 hash 的语义。


二、DDL 三条前提全部不成立

1)它没有行写集。 DDL 改的是表定义,没有"改了哪一行"这回事。源码注释写得很直白:

// empty writeset implies DDL or similar, except if there are missing keys

2)它的影响面不是行,是表定义。 改一列类型、删一个唯一键、RENAME 一张表,都会改变后续所有行 hash 的语义(hash 里含索引名、表名和键值)。历史表里那堆"旧世界的坐标",DDL 之后就不该再被信任。

3)从库拿不到写集。 就 MTS 并行复制而言,写集只在主库内存里算完就扔,binlog 里只有 (last_committed, sequence_number)。所以"到从库再补算"这条退路不存在。

注意区分:Group Replication 的 认证(certification)确实会通过 XCom 把写集发给其它成员做冲突检测——那是另一套机制。本文讨论的是 binlog 里 (lc, seq) 的依赖追踪,二者用的是同一份 PKE hash,但用途不同。


三、于是DDL走兜底分支:只做两件事

if (exceeds_capacity || !can_use_writesets) {
    m_writeset_history_start = sequence_number;   /* 顶锚点 = s */
    m_writeset_history.clear();                   /* 清表 */
}

它不改 commit_parent。 因为 can_use_writesets == false 时,整个"用历史表算 last_parent 并 min 进 commit_parent"的块都被跳过, commit_parent 保持 COMMIT_ORDER 给出的组提交 parent。

但清表 + 锚点把后果推给了 后面所有人: m_writeset_history_start 被抬到 s,于是每个后继事务的 last_parent 都 从 s 起算(只升不降), commit_parent = min(last_parent, commit_order_parent)。

这里要精确一下"挡住全队"的说法:锚点是 writeset 侧的 下限(floor),不是"所有事务从此串行"。

  • 紧跟 DDL 的第一个 DML 会把 自己的 hash 立刻写回历史表,第二个 DML 就能正常命中、正常判冲突;
  • 所以后续事务的 lc 被抬到"不低于 DDL 的 seq",它们 彼此之间仍按行冲突正常并行,只是谁都不能越过 DDL 这条线。

一句话: DDL 是一个"栅栏",不是"串行化"。


四、这正是 writeset 模式"更狠"的地方


COMMIT_ORDER 模式

WRITESET 模式

DDL 自身

lc = 组提交 parent

一样(writeset 不碰 commit_parent)

DDL 之后

只要不落在同一提交组,lc就能往前推

 writeset 侧 lc 被锚点抬到 ≥ s;最终 min(锚点, commit_order_parent)

受影响范围

一个提交组窗口

DDL 成为栅栏,后续所有事务都必须等它;但事务彼此之间仍可并行

COMMIT_ORDER 没有"历史表",所以 DDL 不会造成额外伤害;WRITESET 有,于是 DDL 一清, 记忆作废——但这个"作废"不是浪费,而是 必要且正确的:旧的行 hash 在 DDL 之后语义已经变了,必须整体作废,用"锚点 = DDL 的 seq"强制"后续事务不得声称早于 DDL 的依赖"。

而 8.4 已经把开关变量删了, 默认且无法关闭(其实是删了两个,见第六节)。


五、为什么不给 DDL 造个"表级 hash"

技术上完全可以:把表名单独 hash 成一个键,放进同一张历史表,只挡同表的 DML。没做,三个原因:

  • (lc, seq) 是一个整数对,装不下"集合"语义,等于要改复制协议;
  • 收益有限——DDL 通常就改正在写的那张表,细分之后大概率还是串行;
  • 风险不对称——漏判一种情况(分区表、外键、生成列),错的是数据。

所以 MySQL 的选择不是"判断 DDL 会影响谁",而是"宣布之前的一切记忆作废"。 粒度粗,但永不误判。

补充:DDL 实际有 两条屏障机制,很多人只看到清表这一条:

  1. writeset 侧:空写集 → 清表 + 锚点上移(本文主线)。
  1. COMMIT_ORDER 侧: is_trx_unsafe_for_parallel_slave() 识别 ANALYZE / REPAIR / OPTIMIZE / CREATE_DB / ALTER_DB / DROP_DB / ALTER TABLE 的管理分区操作,命中即置 m_last_blocking_transaction = seq,把后续所有事务的 commit_parent 抬到 ≥ s。注释点明原因:这些管理语句"过早释放元数据锁,破坏了基于锁的逻辑时钟"。

另外 can_use_writesets == false 的触发其实是 5 个条件的合取,不止"空写集":空写集(DDL)、CTAS( CREATE TABLE ... AS SELECT,实为 DDL+DML)、非 ROW 格式、涉及外键、超过写集上限。 任意一个为假都会走清表 + 锚点。其中"超过容量"( exceeds_capacity) 与 DDL 的语义还略有不同:容量超限是" 先用后清"(当前事务仍从历史里吃到并行收益),DDL 是"直接清"(根本没进使用分支)。


六、8.4.10 版本备注

  • 删除的两个变量(8.4.0 起,配置里出现即报错、无法启动):
    • binlog_transaction_dependency_tracking → WRITESET 成为内部唯一行为(等价于旧版恒为 WRITESET)。
    • transaction_write_set_extraction → 恒为 XXHASH64。
  • 仍在的变量: binlog_transaction_dependency_history_size(默认 25000),对应 m_opt_max_history_size,是历史表容量上限,不是开关。
  • 8.4 相对 8.0 的实现变化:历史表容器从 std::map 换成 ankerl::unordered_dense::map(性能优化,无序哈希表); m_writeset_history_start 初始值记作 0(首事务写入后生效)。
  • 迁移提示:从 8.0 升到 8.4.10 时, my.cnf 里若还残留这两个变量, 启动会直接失败(先 mysqld --validate-config 预检)。



      一句话总结

      writeset 用"行"描述世界,DDL 不在这个世界里;它一出现,历史作废、锚点上移,后续事务都被钉在"不得早于 DDL"这条线上—— 这是它无法与任何事务并行的全部原因。但钉住的是"一条栅栏",不是"把整队串起来":DDL 之后的事务彼此之间,仍然可以继续并行。


      来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/29654823/viewspace-3189297/ ,如需转载,请注明出处,否则将追究法律责任。

      下一篇: 没有了~
      请登录后发表评论 登录
      全部评论
      10年数据库管理员从业经历,熟悉Oracle、mysql、tidb、oceanbase、redis、 mongodb 、python等技术栈,持有11g ocm 、mysql 5.7 ocp 、tidb 5.0 ptcp、tidb 6.0 ptca、oceanbase obcp等

      注册时间:2014-05-12

      • 博文量
        329
      • 访问量
        2154980