ITPub博客

首页 > 数据库 > 国内数据库 > 数据库性能优化必读,AntDB-M全局统计信息

数据库性能优化必读,AntDB-M全局统计信息

原创 国内数据库 作者:亚信AntDB数据库 时间:2023-10-30 11:44:01 0 删除 编辑
统 计 信 息 主 要 是 描 述 数 据 库 表 和 表 上 的 索 引 相 关 信 息 , 常 见 的 有 表 行 数 ( r o w   c o u n t ) 、 选 择 率 ( s e l e c t i v i t y ) 、 基 数 ( c a r d i n a l i t y ) 、 页 面 数 等 , 以 及 描 述 数 据 分 布 特 征 的 M C V ( 高 频 非 N U L L 值 ) 、 H I S T O G R A M ( 直 方 图 ) 等 信 息 。

A n t D B - M 作 为 一 个 分 布 式 内 存 数 据 库 , 有 管 理 节 点 ( M N ) , 计 算 节 点 ( C N ) 和 数 据 节 点 ( D N ) 三 种 节 点 类 型 , 要 求 在 不 同 的 节 点 上 执 行 s q l 时 , 具 有 相 同 的 执 行 计 划 。 同 时 为 了 提 高 执 行 计 划 的 生 成 效 率 , 希 望 在 制 定 执 行 计 划 时 , 相 关 辅 助 数 据 都 在 本 地 获 取 , 减 少 跨 节 点 访 问 数 据 的 网 络 开 销 。 为 此 , 我 们 设 计 了 全 局 统 计 信 息 汇 聚 , 来 帮 助 A n t D B - M 快 速 制 定 出 更 加 优 化 的 执 行 计 划 。


下 面 通 过 构 建 一 个 只 有 两 个 数 据 分 片 的 分 布 式 集 群 , 来 展 示 A n t D B - M 的 部 分 全 局 统 计 信 息 。


第 一 步 : 分 别 创 建 一 张 s h a r d i n g 表 t 1 、 s i n g l e 表 t 2 和 g l o b a l 表 t 3 .

图 1 : 建 表


第 二 步 : 在 每 张 表 中 插 入 相 同 的 8 0 条 数 据 , 以 t 1 表 为 例 :

图 2 : 分 别 插 入 数 据


第 三 步 : 通 过 查 询 命 令 来 观 察 部 分 统 计 信 息 :

图 3 : 数 据 节 点 1 执 行


图 4 : 数 据 节 点 2 执 行


由 图 3 和 图 4 可 知 , s h a r d i n g 表 t 1 有 一 半 的 数 据 在 数 据 节 点 1 , 一 半 的 数 据 在 数 据 节 点 2 ; s i n g l e 表 t 2 的 全 部 数 据 都 在 数 据 节 点 1 ; g l o b a l 表 t 3 在 所 有 数 据 节 点 上 都 有 全 量 数 据 。


图 5 : 任 意 节 点 执 行 索 引 信 息 查 询


图 6 : 任 意 节 点 执 行 直 方 图 信 息 查 询


上 面 通 过 操 作 直 观 展 现 了 部 分 统 计 信 息 的 结 果 , 下 面 我 们 来 看 看 A n t D B - M 分 布 式 集 群 内 部 是 如 何 生 成 全 局 统 计 信 息 的 。


全 局 统 计 信 息 ( 非 直 方 图 ) 汇 聚 原 理 : 通 过 配 置 项 a n t d b _ i n f o _ s t a t _ t i m e 设 置 节 点 每 隔 多 长 时 间 上 报 一 次 本 地 统 计 信 息 , 只 有 D N 的 l e a d e r 节 点 需 要 上 报 ,   但 是 要 分 发 给 所 有 的 C N 、 D N 和 M N ,   方 式 如 下 。

( 1 ) 对 于 s h a r d i n g 表 和 s i n g l e 表 , 由 所 有 的 D N   l e a d e r 汇 报 给 M N 的 l e a d e r ( M N 对 比 h a s h 值 判 断 全 局 汇 总 数 据 是 否 发 生 变 化 , 是 否 需 要 返 回 给 D N ) ;

( 2 ) 对 于 g l o b a l 表 , 由 所 在 的 D N   l e a d e r 根 据 h a s h 算 法 判 断 自 己 是 否 需 要 汇 报 ;

( 3 ) D N 的 l e a d e r 将 汇 报 得 到 的 结 果 推 送 给 D N 的 备 , M N 的 l e a d e r 主 动 推 送 汇 总 信 息 给 M N 的 备 和 C N 节 点 ;



全 局 直 方 图 信 息 生 成 原 理 : 只 有 管 理 节 点 的 主 ( M N   l e a d e r ) 通 过 分 布 式 采 样 , 生 成 全 局 直 方 图 信 息 , 然 后 推 送 给 其 它 所 有 节 点 。 数 据 库 运 行 过 程 中 , M N   l e a d e r 每 隔 一 定 时 间 判 断 某 张 表 某 个 字 段 的 直 方 图 信 息 是 否 需 要 更 新 , 若 需 要 更 新 , 则 重 新 进 行 全 局 采 样 ( M N   l e a d e r 内 部 可 多 线 程 并 发 更 新 ) 。 分 布 式 数 据 库 A n t D B - M 在 对 字 段 进 行 范 围 估 算 时 , 直 接 使 用 全 局 直 方 图 信 息 来 提 高 估 算 的 准 确 率 , 同 时 减 少 r p c 次 数 以 提 高 执 行 效 率 。

全 局 直 方 图 信 息 在 各 个 节 点 上 都 会 持 久 化 存 储 , 其 它 全 局 统 计 信 息 可 通 过 参 数 配 置 是 否 需 要 持 久 化 。 平 时 使 用 的 时 候 , 这 些 统 计 信 息 都 是 从 内 存 中 获 取 。



个 性 化 功 能 : 除 了 进 程 内 部 的 常 驻 线 程 进 行 扫 描 和 汇 报 , A n t D B - M 还 提 供 命 令 进 行 统 计 信 息 的 手 动 更 新 和 上 报 , 用 来 在 某 些 特 定 的 场 景 下 定 位 问 题 或 者 更 快 地 更 新 全 局 统 计 信 息 。


图 7 : 数 据 节 点 1 执 行 更 新 和 上 报


图 8 : 管 理 节 点 的 主 上 执 行 更 新 全 局 直 方 图 信 息



全 局 统 计 信 息 的 应 用 及 优 势 : A n t D B - M 查 询 优 化 器 是 基 于 代 价 的 优 化 ( C o s t - B a s e d   O p t i m i z a t i o n , 简 称 C B O ) , 根 据 全 局 统 计 信 息 和 设 置 的 全 局 执 行 参 数 估 算 每 种 执 行 方 式 的 代 价 , 计 算 不 同 访 问 路 径 、 不 同 j o i n 方 式 下 , 各 种 执 行 计 划 的 成 本 , 最 后 选 择 一 种 执 行 代 价 最 优 的 执 行 方 式 , 最 大 限 度 的 满 足 客 户 业 务 要 求 。

图 9 : A n t D B - M 基 于 全 局 统 计 信 息 的 查 询 优 化 器


由 于 具 备 全 局 统 计 信 息 自 动 汇 聚 和 全 局 直 方 图 信 息 ( 给 优 化 器 提 供 更 准 确 的 数 据 分 布 , 且 会 随 着 分 布 式 数 据 的 变 动 而 动 态 更 新 ) , A n t D B - M 查 询 优 化 器 在 进 行 范 围 估 算 , 索 引 选 择 上 具 有 更 高 的 准 确 性 。 同 时 , 由 于 每 个 节 点 内 存 中 有 相 关 统 计 信 息 , 在 制 定 执 行 计 划 时 不 需 要 跨 节 点 获 取 相 关 辅 助 信 息 , 从 而 使 得 A n t D B - M 在 复 杂 场 景 下 具 有 更 高 的 性 能 。



关 于 A n t D B 数 据 库


A n t D B 数 据 库 始 于 2 0 0 8 年 , 在 运 营 商 的 核 心 系 统 上 , 为 全 国 2 4 个 省 份 的 1 0 亿 多 用 户 提 供 在 线 服 务 , 具 备 高 性 能 、 弹 性 扩 展 、 高 可 靠 等 产 品 特 性 , 峰 值 每 秒 可 处 理 百 万 笔 通 信 核 心 交 易 , 保 障 系 统 持 续 稳 定 运 行 近 十 年 , 并 在 通 信 、 金 融 、 交 通 、 能 源 、 物 联 网 等 行 业 成 功 商 用 落 地 。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70026696/viewspace-2991816/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
AntDB数据库始于2008年,是湖南亚信安慧科技科技有限公司自主研发的通用型企业级数据库产品,在运营商的核心系统上,为全国20多个省份约10亿用户提供在线服务,具备高性能、弹性扩展、可靠性等产品特性,峰值每秒可处理百万笔通信核心交易,应用范围包含通信、金融、交通、能源、物联等。

注册时间:2023-02-13

  • 博文量
    415
  • 访问量
    759471