ITPub博客

首页 > 数据库 > 数据库开发技术 > 精彩回顾|从架构到实践,AntDB融合型数据库揭秘

精彩回顾|从架构到实践,AntDB融合型数据库揭秘

原创 数据库开发技术 作者:亚信AntDB数据库 时间:2023-11-17 14:20:30 0 删除 编辑

当 今 社 会 中 的 信 息 除 了 “ 多 ” , 人 们 对 于 “ 效 率 ” 和 “ 速 度 ” 的 要 求 也 越 来 越 高 。 譬 如 , 对 于 很 多 企 业 决 策 者 来 说 , 在 当 前 的 经 济 形 势 下 需 要 尽 一 切 可 能 降 本 增 效 。 过 去 每 周 看 看 经 营 报 表 的 习 惯 , 现 在 慢 慢 转 变 为 实 时 可 视 化 分 析 企 业 当 前 的 经 营 状 况 。

基 于 此 , 亚 信 安 慧 A n t D B 融 合 型 数 据 库 , 为 了 支 持 用 户 对 “ 实 时 性 ” 的 更 高 要 求 , 通 过 原 生 的 “ 流 数 据 处 理 引 擎 ” , 从 内 核 层 面 将 流 式 计 算 与 数 据 库 进 行 了 融 合 与 创 新 。
1 1 月 3 日 - 5 日 , 由 中 国 开 源 软 件 推 进 联 盟 P G 分 会 ( 简 称 P G 分 会 ) 主 办 的   “ 2 0 2 3 中 国 P o s t g r e S Q L 数 据 库 生 态 大 会 ” 圆 满 落 幕 。 会 上 , 亚 信 安 慧 A n t D B - T 负 责 人 洪 建 辉 先 生 , 带 来 了 《 A n t D B 融 合 型 数 据 库 : 实 时 流 数 据 处 理 引 擎 揭 秘 》 的 主 题 演 讲 。

以 下 为 该 活 动 的 部 分 演 讲 内 容 :

流 式 数 据 库 的 价 值 和 挑 战


流 式 处 理 数 据 库 是 一 种 专 门 设 计 用 于 处 理 大 量 实 时 流 数 据 的 数 据 库 , 是 实 时 分 析 、 风 险 监 控 、 网 络 检 测 和 物 联 网   ( I o T )   等 延 迟 关 键 型 应 用 程 序 的 理 想 选 择 。 但 在 过 去 几 十 年 里 , 数 据 库 作 为 信 息 的 核 心 载 体 , 对 于 实 时 数 据 的 处 理 能 力 , 却 是 建 立 在 数 据 库 引 擎 之 外 的 。

因 此 , 数 据 库 融 入 流 式 数 据 处 理 能 力 , 可 以 通 过 S Q L + 触 发 器 对 实 时 数 据 的 处 理 逻 辑 与 拓 扑 进 行 定 义 , 是 这 几 年 行 业 中 提 出 的 全 新 课 题 。
在 亚 信 安 慧 A n t D B 发 展 的 十 几 年 历 程 中 , 我 们 看 到 运 营 商 大 量 对 核 心 数 据 处 理 加 工 的 业 务 场 景 。 这 些 需 求 中 有 些 能 够 很 容 易 地 使 用 传 统 技 术 满 足 , 但 还 有 一 些 一 定 需 要 采 用 流 式 计 算 等 实 时 处 理 能 力 才 能 支 持 。

A n t D B   流 式 实 时 数 仓 是 如 何 工 作 的 ?


流 数 据 处 理 模 式 与 传 统 数 据 库 的 内 核 设 计 有 着 极 大 的 区 别 。 其 核 心 本 质 在 于 , 传 统 数 据 库 架 构 设 计 中 , 应 用 与 数 据 库 之 间 是 “ 请 求 - 响 应 “ 的 关 系 , 既 业 务 发 起 S Q L 请 求 , 数 据 库 随 即 执 行 请 求 并 返 回 结 果 。 而 流 处 理 内 核 则 是 “ 订 阅 - 推 送 “ 的 模 式 , 可 以 实 时 处 理 、 实 时 推 送 结 果 给 下 游 应 用 进 行 展 示 或 入 库 。

亚 信 安 慧 A n t D B 做 了 大 量 从 零 开 始 的 创 新 性 探 索 与 研 究 , 于 2 0 2 2 年 底 推 出 A n t D B - S 实 时 实 时 数 仓 , 彻 底 将 流 式 计 算 与 传 统 交 易 、 分 析 型 数 据 存 储 进 行 了 融 合 , 让 用 户 可 以 在 数 据 库 引 擎 内 , 通 过 标 准 S Q L 自 由 定 义 数 据 的 结 构 以 及 实 时 处 理 逻 辑 。

A n t D B 流 数 据 库 的 功 能 优 势

技 术 堆 栈 简 化 : 在 实 时 流 事 件 的 处 理 上 , A n t D B 流 式 处 理 一 体 引 擎 将 大 量 的 实 时 数 据 处 理 做 到 数 仓 内 部 , 更 进 一 步 向 通 用 事 务 靠 拢 。
标 准 S Q L 定 义 : 传 统 流 处 理 方 式 对 于 S Q L   的 处 理 很 弱 , 还 要 写 大 量 业 务 代 码 , 而 A n t D B - S 可 以 通 过 统 一 S Q L 语 句 进 行 处 理 , 流 的 使 用 上 更 便 捷 。
统 一 数 据 接 口 : 支 持 流 批 模 式 的 转 换 , A n t D B 统 一 超 融 架 构 , 实 现 了 对 外 的 接 口 统 一 , 数 据 的 采 集 与 处 理 无 需 分 开 , 流 批 都 用 S Q L   即 可 全 部 搞 定 。
支 持 完 整 事 务 处 理 : 传 统 流 处 理 过 程 中 不 支 持 数 据 的 修 改 , A n t D B - S 支 持 流 处 理 中 对 数 据 的 修 改 和 事 务 操 作 。
实 时 结 果 更 准 确 : 通 过 分 布 式 事 务 的 A C I D 特 性 , 解 决 实 时 流 数 据 处 理 中 , 数 据 容 灾 和 一 致 性 的 问 题 , 可 以 精 确 判 断 数 据 故 障 点 , 完 成 流 事 件 的 矫 正 计 算 和 重 统 计 。

A n t D B 流 数 据 库 功 能 架 构 拆 解

由 上 图 可 以 看 出 , 流 数 据 库 是 把 流 处 理 功 能 融 合 进 A n t D B - T 的 S Q L 引 擎 中 ; 把 流 数 据 的 存 储 融 合 进 A n t D B - T 的 存 储 引 擎 ; 把 流 处 理 的 进 程 体 系 结 构 融 合 进 A n t D B - T 的 进 程 体 系 结 构 中 。

这 样 的 超 融 合 结 构 会 带 来 以 下 几 点 优 势 :
( 1 ) 技 术 栈 简 单 , 稳 定 性 好 。
( 2 ) 学 习 和 维 护 成 本 低 , 只 需 掌 握 数 据 库 的 使 用 和 维 护 即 可 。
( 3 ) 完 全 用 S Q L 操 作 所 有 功 能 , 使 用 简 单 方 便 。 S Q L 是 被 实 践 证 明 了 的 最 好 的 数 据 处 理 语 言 , 能 够 快 速 响 应 业 务 的 复 杂 多 变 性 。
( 4 ) 流 数 据 处 理 支 持 数 据 U P D A T E 和 D E L E T E 、 事 务 A C I D 、 且 可 以 流 表 J O I N 。

关 于 A n t D B 数 据 库
A n t D B 数 据 库 始 于 2 0 0 8 年 , 在 运 营 商 的 核 心 系 统 上 , 为 全 国 2 4 个 省 份 的 1 0 亿 多 用 户 提 供 在 线 服 务 , 具 备 高 性 能 、 弹 性 扩 展 、 高 可 靠 等 产 品 特 性 , 峰 值 每 秒 可 处 理 百 万 笔 通 信 核 心 交 易 , 保 障 系 统 持 续 稳 定 运 行 近 十 年 , 并 在 通 信 、 金 融 、 交 通 、 能 源 、 物 联 网 等 行 业 成 功 商 用 落 地 。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70026696/viewspace-2995937/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
AntDB数据库始于2008年,是湖南亚信安慧科技科技有限公司自主研发的通用型企业级数据库产品,在运营商的核心系统上,为全国20多个省份约10亿用户提供在线服务,具备高性能、弹性扩展、可靠性等产品特性,峰值每秒可处理百万笔通信核心交易,应用范围包含通信、金融、交通、能源、物联等。

注册时间:2023-02-13

  • 博文量
    415
  • 访问量
    759275