首页 > 数据库 > 国内数据库 > 数据库性能优化必读,AntDB-M全局统计信息
下 面 通 过 构 建 一 个 只 有 两 个 数 据 分 片 的 分 布 式 集 群 , 来 展 示 A n t D B - M 的 部 分 全 局 统 计 信 息 。
第 一 步 : 分 别 创 建 一 张 s h a r d i n g 表 t 1 、 s i n g l e 表 t 2 和 g l o b a l 表 t 3 .
图 1 : 建 表
第 二 步 : 在 每 张 表 中 插 入 相 同 的 8 0 条 数 据 , 以 t 1 表 为 例 :
图 2 : 分 别 插 入 数 据
第 三 步 : 通 过 查 询 命 令 来 观 察 部 分 统 计 信 息 :
图 3 : 数 据 节 点 1 执 行
图 4 : 数 据 节 点 2 执 行
由 图 3 和 图 4 可 知 , s h a r d i n g 表 t 1 有 一 半 的 数 据 在 数 据 节 点 1 , 一 半 的 数 据 在 数 据 节 点 2 ; s i n g l e 表 t 2 的 全 部 数 据 都 在 数 据 节 点 1 ; g l o b a l 表 t 3 在 所 有 数 据 节 点 上 都 有 全 量 数 据 。
图 5 : 任 意 节 点 执 行 索 引 信 息 查 询
图
6
:
任
意
节
点
执
行
直
方
图
信
息
查
询
上 面 通 过 操 作 直 观 展 现 了 部 分 统 计 信 息 的 结 果 , 下 面 我 们 来 看 看 A n t D B - M 分 布 式 集 群 内 部 是 如 何 生 成 全 局 统 计 信 息 的 。
全 局 统 计 信 息 ( 非 直 方 图 ) 汇 聚 原 理 : 通 过 配 置 项 a n t d b _ i n f o _ s t a t _ t i m e 设 置 节 点 每 隔 多 长 时 间 上 报 一 次 本 地 统 计 信 息 , 只 有 D N 的 l e a d e r 节 点 需 要 上 报 , 但 是 要 分 发 给 所 有 的 C N 、 D N 和 M N , 方 式 如 下 。
( 1 ) 对 于 s h a r d i n g 表 和 s i n g l e 表 , 由 所 有 的 D N l e a d e r 汇 报 给 M N 的 l e a d e r ( M N 对 比 h a s h 值 判 断 全 局 汇 总 数 据 是 否 发 生 变 化 , 是 否 需 要 返 回 给 D N ) ;
( 2 ) 对 于 g l o b a l 表 , 由 所 在 的 D N l e a d e r 根 据 h a s h 算 法 判 断 自 己 是 否 需 要 汇 报 ;
( 3 ) D N 的 l e a d e r 将 汇 报 得 到 的 结 果 推 送 给 D N 的 备 , M N 的 l e a d e r 主 动 推 送 汇 总 信 息 给 M N 的 备 和 C N 节 点 ;
全 局 直 方 图 信 息 生 成 原 理 : 只 有 管 理 节 点 的 主 ( M N l e a d e r ) 通 过 分 布 式 采 样 , 生 成 全 局 直 方 图 信 息 , 然 后 推 送 给 其 它 所 有 节 点 。 数 据 库 运 行 过 程 中 , M N l e a d e r 每 隔 一 定 时 间 判 断 某 张 表 某 个 字 段 的 直 方 图 信 息 是 否 需 要 更 新 , 若 需 要 更 新 , 则 重 新 进 行 全 局 采 样 ( M N l e a d e r 内 部 可 多 线 程 并 发 更 新 ) 。 分 布 式 数 据 库 A n t D B - M 在 对 字 段 进 行 范 围 估 算 时 , 直 接 使 用 全 局 直 方 图 信 息 来 提 高 估 算 的 准 确 率 , 同 时 减 少 r p c 次 数 以 提 高 执 行 效 率 。
全 局 直 方 图 信 息 在 各 个 节 点 上 都 会 持 久 化 存 储 , 其 它 全 局 统 计 信 息 可 通 过 参 数 配 置 是 否 需 要 持 久 化 。 平 时 使 用 的 时 候 , 这 些 统 计 信 息 都 是 从 内 存 中 获 取 。
个 性 化 功 能 : 除 了 进 程 内 部 的 常 驻 线 程 进 行 扫 描 和 汇 报 , A n t D B - M 还 提 供 命 令 进 行 统 计 信 息 的 手 动 更 新 和 上 报 , 用 来 在 某 些 特 定 的 场 景 下 定 位 问 题 或 者 更 快 地 更 新 全 局 统 计 信 息 。
图 7 : 数 据 节 点 1 执 行 更 新 和 上 报
图 8 : 管 理 节 点 的 主 上 执 行 更 新 全 局 直 方 图 信 息
全 局 统 计 信 息 的 应 用 及 优 势 : A n t D B - M 查 询 优 化 器 是 基 于 代 价 的 优 化 ( C o s t - B a s e d O p t i m i z a t i o n , 简 称 C B O ) , 根 据 全 局 统 计 信 息 和 设 置 的 全 局 执 行 参 数 估 算 每 种 执 行 方 式 的 代 价 , 计 算 不 同 访 问 路 径 、 不 同 j o i n 方 式 下 , 各 种 执 行 计 划 的 成 本 , 最 后 选 择 一 种 执 行 代 价 最 优 的 执 行 方 式 , 最 大 限 度 的 满 足 客 户 业 务 要 求 。
图 9 : A n t D B - M 基 于 全 局 统 计 信 息 的 查 询 优 化 器
由 于 具 备 全 局 统 计 信 息 自 动 汇 聚 和 全 局 直 方 图 信 息 ( 给 优 化 器 提 供 更 准 确 的 数 据 分 布 , 且 会 随 着 分 布 式 数 据 的 变 动 而 动 态 更 新 ) , A n t D B - M 查 询 优 化 器 在 进 行 范 围 估 算 , 索 引 选 择 上 具 有 更 高 的 准 确 性 。 同 时 , 由 于 每 个 节 点 内 存 中 有 相 关 统 计 信 息 , 在 制 定 执 行 计 划 时 不 需 要 跨 节 点 获 取 相 关 辅 助 信 息 , 从 而 使 得 A n t D B - M 在 复 杂 场 景 下 具 有 更 高 的 性 能 。
关 于 A n t D B 数 据 库
A n t D B 数 据 库 始 于 2 0 0 8 年 , 在 运 营 商 的 核 心 系 统 上 , 为 全 国 2 4 个 省 份 的 1 0 亿 多 用 户 提 供 在 线 服 务 , 具 备 高 性 能 、 弹 性 扩 展 、 高 可 靠 等 产 品 特 性 , 峰 值 每 秒 可 处 理 百 万 笔 通 信 核 心 交 易 , 保 障 系 统 持 续 稳 定 运 行 近 十 年 , 并 在 通 信 、 金 融 、 交 通 、 能 源 、 物 联 网 等 行 业 成 功 商 用 落 地 。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70026696/viewspace-2991816/ ,如需转载,请注明出处,否则将追究法律责任。