版本说明:本文基于 MySQL 8.4 分支源码(
sql/rpl_trx_tracking.cc/.h、sql/rpl_write_set_handler.cc)核对。8.4.10 与 8.4.0 在该机制上完全一致;8.4 相对 8.0 的变化只是 删除了两个开关变量(见第六节),算法本身自 8.0 起未变。
这套算法只认一种冲突: 两个事务命中了同一个行 hash。为此它做的所有事都围绕行:
hash = XXH64(索引名 + 库名 + 表名 + 唯一键各列 sort_key 值 + 各分量长度),seed=0(实际调
MY_XXH64;源码里那条 "murmur hash" 注释是过时的)。hash → seq,记录"这行上次被谁改"。8.4 里实现是
ankerl::unordered_dense::map<uint64,int64>(8.0 是
std::map)。last_parent 从锚点起算,命中值取最大,即 lc 的候选上界。它没有"表"这个维度。写集里没有表级键,历史表也不按表建索引——这决定了后续一切。
细节补充:hash 里除了库名、表名、键值,还包含 索引名(唯一键名/约束名),且每个分量后跟其长度、用
½分隔。因此 RENAME TABLE、改键列类型、增删唯一键,都会改变后续所有行 hash 的语义。
1)它没有行写集。 DDL 改的是表定义,没有"改了哪一行"这回事。源码注释写得很直白:
// empty writeset implies DDL or similar, except if there are missing keys
2)它的影响面不是行,是表定义。 改一列类型、删一个唯一键、RENAME 一张表,都会改变后续所有行 hash 的语义(hash 里含索引名、表名和键值)。历史表里那堆"旧世界的坐标",DDL 之后就不该再被信任。
3)从库拿不到写集。 就 MTS 并行复制而言,写集只在主库内存里算完就扔,binlog 里只有
(last_committed, sequence_number)。所以"到从库再补算"这条退路不存在。
注意区分:Group Replication 的 认证(certification)确实会通过 XCom 把写集发给其它成员做冲突检测——那是另一套机制。本文讨论的是 binlog 里
(lc, seq)的依赖追踪,二者用的是同一份 PKE hash,但用途不同。
if (exceeds_capacity || !can_use_writesets) {
m_writeset_history_start = sequence_number; /* 顶锚点 = s */
m_writeset_history.clear(); /* 清表 */
}
它不改
commit_parent。 因为
can_use_writesets == false 时,整个"用历史表算 last_parent 并
min 进 commit_parent"的块都被跳过,
commit_parent 保持 COMMIT_ORDER 给出的组提交 parent。
但清表 + 锚点把后果推给了
后面所有人:
m_writeset_history_start 被抬到 s,于是每个后继事务的
last_parent 都
从 s 起算(只升不降),
commit_parent = min(last_parent, commit_order_parent)。
这里要精确一下"挡住全队"的说法:锚点是 writeset 侧的 下限(floor),不是"所有事务从此串行"。
一句话: DDL 是一个"栅栏",不是"串行化"。
|
|
COMMIT_ORDER 模式 |
WRITESET 模式 |
|
DDL 自身 |
lc = 组提交 parent |
一样(writeset 不碰 commit_parent) |
|
DDL 之后 |
只要不落在同一提交组,lc就能往前推 |
writeset 侧 lc 被锚点抬到 ≥ s;最终
|
|
受影响范围 |
一个提交组窗口 |
DDL 成为栅栏,后续所有事务都必须等它;但事务彼此之间仍可并行 |
COMMIT_ORDER 没有"历史表",所以 DDL 不会造成额外伤害;WRITESET 有,于是 DDL 一清, 记忆作废——但这个"作废"不是浪费,而是 必要且正确的:旧的行 hash 在 DDL 之后语义已经变了,必须整体作废,用"锚点 = DDL 的 seq"强制"后续事务不得声称早于 DDL 的依赖"。
而 8.4 已经把开关变量删了, 默认且无法关闭(其实是删了两个,见第六节)。
技术上完全可以:把表名单独 hash 成一个键,放进同一张历史表,只挡同表的 DML。没做,三个原因:
(lc, seq) 是一个整数对,装不下"集合"语义,等于要改复制协议;所以 MySQL 的选择不是"判断 DDL 会影响谁",而是"宣布之前的一切记忆作废"。 粒度粗,但永不误判。
补充:DDL 实际有 两条屏障机制,很多人只看到清表这一条:
- writeset 侧:空写集 → 清表 + 锚点上移(本文主线)。
- COMMIT_ORDER 侧:
is_trx_unsafe_for_parallel_slave()识别 ANALYZE / REPAIR / OPTIMIZE / CREATE_DB / ALTER_DB / DROP_DB / ALTER TABLE 的管理分区操作,命中即置m_last_blocking_transaction = seq,把后续所有事务的 commit_parent 抬到 ≥ s。注释点明原因:这些管理语句"过早释放元数据锁,破坏了基于锁的逻辑时钟"。另外
can_use_writesets == false的触发其实是 5 个条件的合取,不止"空写集":空写集(DDL)、CTAS(CREATE TABLE ... AS SELECT,实为 DDL+DML)、非 ROW 格式、涉及外键、超过写集上限。 任意一个为假都会走清表 + 锚点。其中"超过容量"(exceeds_capacity) 与 DDL 的语义还略有不同:容量超限是" 先用后清"(当前事务仍从历史里吃到并行收益),DDL 是"直接清"(根本没进使用分支)。
binlog_transaction_dependency_tracking → WRITESET 成为内部唯一行为(等价于旧版恒为 WRITESET)。transaction_write_set_extraction → 恒为 XXHASH64。binlog_transaction_dependency_history_size(默认 25000),对应
m_opt_max_history_size,是历史表容量上限,不是开关。std::map 换成
ankerl::unordered_dense::map(性能优化,无序哈希表);
m_writeset_history_start 初始值记作 0(首事务写入后生效)。my.cnf 里若还残留这两个变量,
启动会直接失败(先
mysqld --validate-config 预检)。
writeset 用"行"描述世界,DDL 不在这个世界里;它一出现,历史作废、锚点上移,后续事务都被钉在"不得早于 DDL"这条线上—— 这是它无法与任何事务并行的全部原因。但钉住的是"一条栅栏",不是"把整队串起来":DDL 之后的事务彼此之间,仍然可以继续并行。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/29654823/viewspace-3189297/ ,如需转载,请注明出处,否则将追究法律责任。