2026 年 10 月 22 日，在由 Apache Doris 社区主办的年度技术峰会 Doris Summit 2026 数据智能论坛上，NineData 合伙人兼首席产品经理 蔡冬者（江柳） 发表了题为 《Apache Doris 实时数据同步方案的挑战与实践：从海量数据同步到 AI 时代的全新演进》 的主题演讲。

蔡冬者拥有十余年数据库与云计算领域产品经验，曾担任阿里云数据库 RDS、数据仓库与数据湖、生态工具等多条产品线产品负责人，从 0 到 1 构建了数据管理服务 DMS、数据传输 DTS、数据库备份 DBS、数据库自治服务 DAS 等云原生数据管理产品。

本次演讲围绕 Agentic 时代实时数仓的根本性变化展开，系统拆解了 Doris 在数据"采集—入仓—消费"全链路面临的新范式与硬挑战，完整呈现了 NineData 围绕 Doris 打造的一站式数据流动与治理方案、"业务语义层 + 安全访问控制"双轮驱动的 Agent 用数解法，并通过多个行业标杆案例展示了方案的落地成效。演讲共分为五个部分：

1. 大模型与 Agent 浪潮重塑 Doris 数据采集与消费范式
2. NineData 赋能 Doris 的一站式数据流动与治理全景
3. 海量异构数据实时入仓的核心挑战与硬核解法
4. NineData：解锁 Agent 访问 Doris 最后一公里
5. NineData 最佳客户实践

一、大模型与 Agent 浪潮，重塑 Doris 数据采集与消费范式

蔡冬者指出，随着企业 Agent 逐步进入应用场景， Agent 正在成为企业数据消费、以及业务端数据生产的新用户形态。在 Doris 或其他数据仓库的使用中，用户已不再只是传统的 BI 用户或 Dashboard 看板——Data Agent（数据分析 Agent）、销售 Agent、风控 Agent 等正在成为新的"原住民"，而它们最常见的需求，就是对数据的使用与消费。

这种新用户形态，给数据入仓与消费带来了三重颠覆性挑战：

• 数据秒级入仓：Agent 进入决策场景后，对数据变化的感知要求更高。滞后的数据入仓会导致 Agent 基于"旧数据"做出错误决策，对业务影响巨大。 数据的秒级入仓成为显性需求。
• 实时入仓挑战：源头业务端在 Coding Agent 的介入下快速迭代，表结构变更（DDL）将成为常态；Agent 自主推理还会产生高并发的小事务写入；再加上多云与跨库场景下的异构集成，都对上游数据进入数仓的时效性与稳定性提出新挑战。
• Agent 成为数据消费主体：如何解决 Agent 在企业级数据消费场景下的安全问题与准确度问题，成为全新命题。

二、NineData 赋能 Doris 的一站式数据流动与治理全景

面对这些挑战，NineData 交出的答案，是一套"数据流动 + 数据治理"的一站式平台能力。

（一）NineData 云原生智能数据管理平台

NineData 是一个原生企业级的数据管理平台，能够统一接管企业内部公有云、混合云、IDC 自建的各种数据库、数仓与大数据产品，并在其上提供统一的数据管理能力，覆盖三大板块：

• 数据复制与对比：结构复制、全量复制、增量复制、双向复制、周期集成，以及结构/全量/增量对比
• 数据开发与数据库 DevOps：SQL IDE、可视化设计、权限管控、SQL 审核、Online DDL/DML、数据追踪、性能优化、操作审计等
• 数据库 AI 智能体：ChatDBA、Text2SQL、RAG、SQL 智能改写、数据资产与 Skill 等

（二）围绕 Doris 的一站式方案全景

落到 Doris 场景，NineData 提供了从数据源头采集 CDC 入仓，到入仓后的语义构建，再到 Agent 访问数据的完整解决方案：

• 复制与对比：表结构复制、全量数据初始化、CDC（DML/DDL）
• 业务语义层：Ontology（本体）与 Metric（指标口径）的语义自动构建与更新
• 访问管控：Agent 身份、对象+操作+时间的权限模型、SQL 操作管控、分类分级与脱敏、操作审计

企业 Agent 可通过 Skill、MCP、OpenAPI 三种方式接入，对接下层语义层与访问控制层，最终访问 Doris 或数据库中的数据——解决企业 Agent 用数"最后一公里"的问题。

目前 NineData 已支持 100+ 种数据源，覆盖主流 RDBMS（集中式与分布式）、NoSQL、数据仓库与大数据平台，均可作为源头实时采集同步进入 Doris。

三、海量异构数据实时入仓的核心挑战与硬核解法

（一）最强大的 Doris/SelectDB 实时同步平台

NineData 面向 Doris 提供两条入仓路径：一是 端到端直连——从源端采集表结构、全量数据与增量变化，实时同步进 Doris；二是针对重度计算场景，支持将数据以 Canal、Debezium 或自定义格式投递到 Kafka，再由下游 Flink Task 计算后写入 Doris。同时，除企业版外，NineData 还提供 免费的社区版，中小企业可以直接用 Docker 一键拉起，直接使用数据同步能力。

（二）完整的数据同步能力矩阵

从结构复制（Structure Replication）、历史数据复制（History Data Replication）、基于日志的增量 CDC（Log based CDC），到数据加工（Data Transform）与数据对比（Data Compare），NineData 提供了完整闭环：全量复制性能可达 209MB/S、增量复制性能可达 5 万+ RPS，增量复制延迟低至 秒级，并支持对象名映射、列计算、条件过滤等数据处理能力。

（三）表结构智能转换迁移

Agent 时代，库表数量呈指数型增长，如何高效把源端表结构在 Doris 中建模成为第一个难题。NineData 的解法是"智能转换 + 自动迁移"：

• 完整表对象类型支持：主键表、索引表、无索引表完整迁移，表类型自动选择（明细表/主键表）
• 异构数据类型自动转换：数据类型智能转化，迁移脚本自动生成，业务可灵活调整并一键应用
• 完善的异常检测与修复策略：不兼容特性自动识别、快速定位异常点，提供修复、跳过、移除等丰富手段

（四）高吞吐：海量数据快速初始化

• 初始化性能：自适应单表并发切片（基于主键/唯一键/索引基数动态均衡切片）；原生支持 Vector（向量）与大字段的高效传输，为 Agent 铺底多模知识数据；Doris 写入性能实测 209MB/S、88 万 RPS
• 生产数据库负载保护：动态调整读写并发度，实时感知源库负载；支持单秒读取上限的限流保护，保障生产主库业务零干扰
• 企业级高可靠：分片级断点续传（中断可基于切片精准恢复、无需重跑）；异常自愈与可视化错误诊断

（五）高韧性：秒级延迟的增量数据复制（CDC）

Agent 成为主流用数场景后，核心 Agent 对数据消费的时效性要求极高，CDC 成为关键能力。NineData 基于 Log-based CDC 实时监听并捕获源端生产数据变化：

• 完整 DML/DDL 同步：全类型原生兼容（含大文本/JSON、空间类型及 Vector）， Schema 自动跟随，无需人工干预即可适配 Agent 高频 Schema 变更
• 同步性能：并行采集、并行解析、并行消费、批量提交、热点合并等核心技术，增量同步性能可达 5万+ RPS，实现秒级低延迟
• 企业级高可靠：精准 Checkpoint（自动记录 LSN 位点，抖动或切换秒级断点续传）；可视化异常自愈诊断，保障链路 7×24 小时高韧性运行

（六）内置 ETL：轻量高效的数据清洗与加工

针对源端到下游同步过程中的建模范式变化、命名调整与敏感数据管控，NineData 在复制链路内内置了即插即用的轻量 ETL：

• 对象名映射：库/表/列三级映射与分库分表多表汇聚
• 数据过滤：SQL Expression 规则过滤无效/废弃数据，按需过滤 DML/DDL 操作
• 列值计算：300+ 内置计算函数，支持动态扩展新列、字段裁剪与数据提纯
• 数据脱敏与去标识化：在流转过程中完成敏感数据隐藏，保障 Agent 消费数据安全

（七）数据对比：贴源层质量校验

传统数据集成方案往往要等下游用数发现数据不准后，再倒推溯源排查，投入大量人力。NineData 的理念是 在源头就及时校准数据质量，事前保证准确性：

• 功能全面：全量/增量/行数/抽样对比，一次性与周期性对比，支持名称映射与动态限流
• 性能强劲：指纹对比、智能分片、计算下沉，对比性能 100 万条记录/秒，同时动态监测调整对比负载，保障数据库稳定性
• 完善差异修复：精确定位差异数据并自动生成订正 SQL；针对大规模异常还提供单表重做能力，高效重做并衔接 CDC 同步

（八）企业级高吞吐 CDC VS 开源工具

蔡冬者现场给出了一组 NineData 与 Flink CDC、Debezium 的对比数据：

全量初始化性能约为开源工具的 4~10 倍，且开箱即用、可视化运维，摆脱开源自研与运维泥潭。

四、NineData：解锁 Agent 访问 Doris 最后一公里

（一）Agent 用数的三大痛点

数据进入数仓之后，Agent 消费数据时面临三大挑战。蔡冬者把它类比成"新员工入职"：Agent 就像一个刚进入企业的新员工，对企业的业务逻辑、业务知识完全无感知——不理解业务逻辑、依赖盲目试错、动态生成 SQL 带来安全漏洞。

• 业务语义鸿沟：Agent 缺乏对业务逻辑、规则、口径、底层物理表结构及复杂关联的理解，极易引发"SQL 幻觉"与回答失真
• Token 成本高昂：面对成千上万张物理表，缺乏有效指引的 Agent 陷入盲目试错，十轮二十轮的思考迭代带来指数级飙升的 Token 消耗
• 安全与治理失控：Agent 的动态自主规划带来前所未有的越权访问、敏感数据泄露及事后不可审计等安全黑洞

（二）"双轮驱动"破解企业 Agent 落地难题

NineData 的方案是在 Agent 与底层数据之间架设一个中间层，构建两大能力：

• 业务语义层：全域物理资产采集基础上，构建增强 ER 图、表间关联关系挖掘、本体模型、指标口径与标签体系，解决 Agent"懂不懂"的问题
• 安全访问控制：Agent 身份认证、细粒度权限管控、高危操作拦截、敏感数据保护、操作审计，解决企业"敢不敢"的问题

无论是自研的分析、运维、销售、风控 Agent，还是第三方商业 Agent，都不能直连数据层，而必须通过 Skill、MCP、OpenAPI 接入中间层完成安全管控与语义召回。

（三）业务语义层：Ontology 本体建模与五层渐进式召回

• Ontology（本体建模）：定义标准 Ontology Schema，将物理库表自动转化为 Agent 可理解的业务实体、属性、状态与规则；支持增量更新，自动监听物理表变更并更新上层依赖，解决冷启动与动态演进两大难题
• Metric（指标口径）：基于类 OSI 标准的 YAML 沉淀统一指标口径（订单、有效用户数、活跃用户数等），彻底消除指标歧义与不同 Agent 口径不一致问题，并自动监听 Ontology 变化联动更新
• 渐进式披露：从 L1 物理表层至 L5 领域空间层逐层抽象，根据意图动态过滤，只向 Agent 暴露"完成任务所需的最小充分资产集"

蔡冬者补充，原来 Agent 可能要经过十轮思考才能命中正确的库表，现在一轮即可准确返回，且准确性可随长期使用自迭代持续提升。

（四）安全层：动态沙箱、高危拦截与敏感数据全链保护

安全层围绕三大红线展开：

• 零（Zero）信任泄漏：坚持最小权限原则，人员与 Agent 身份账号隔离，均无特权账号。企业为每个 Agent 分配 NineData 平台身份（而非直连数据库账号），并按库表、语法级别、列级/行级进行最小化授权
• 实时拦截与脱敏：对 Agent 访问底层数据的每一条 SQL 进行语法解析与安全规约检查（如禁止 DROP TABLE、UPDATE 需走审批流程），高危操作毫秒级实时阻断；敏感数据动态脱敏，避免流入大模型
• 100% 合规审计：SQL 级全链路行为审计，覆盖思考过程、工具调用链与访问结果，可通过审计日志完整回溯

五、NineData 最佳客户实践

目前 NineData 已服务 1000+ 家企业级客户，覆盖运营商、金融、能源电力、物流交通、制造与车企、医疗、政企等 60+ 行业：

案例一：某全球跨境物流公司——多云混合云数据同步

该客户主营海外仓储业务，涉及东南亚、欧美等市场，IT 系统分布全球，采用多云（阿里云、AWS、GCP）与 IDC 混合架构，数据仓库 Doris 中心化部署，无法使用开源或云工具实现复杂架构下的数据实时入仓。解决方案：采用 NineData 公有云服务的数据复制能力，将源端 Oracle 等数据实时同步入仓，并利用 数据对比功能进行业务端与 Doris 贴源层的一致性验证。

案例二：某省级政务单位——国产化后的读写分离

该客户核心业务系统国产化后采用 Kingbase，但国产数据库 AP 能力相对较弱，复杂统计报表与高并发交互式读业务出现严重性能瓶颈。解决方案：将分析业务从生产库拆出，采用 NineData 本地私有化部署，把 Kingbase 数据 秒级实时同步至 Doris，平滑承接复杂报表与高并发查询，实现读写分离；并定期进行 Kingbase 与 Doris 的数据一致性校验。目前该方案已在多个省份落地。

案例三：MiniMax——Agent 安全数据访问

作为大模型公司，MiniMax 在企业内部大规模使用 Agent，核心问题是 Agent 在运维、研发、运营场景下访问数据库的安全管控。解决方案：采用 NineData 统一纳管多家云厂商的数百个数据库实例，内部 Agent 引入 NineData Skill，通过 NineData 账号平台访问数据，实现 Agent 细粒度权限管控、高危操作拦截、敏感数据脱敏及操作审计，完全规避 Agent 安全越权问题。

六、总结与展望

演讲最后，蔡冬者总结了 Agent 时代实时数据同步的几个核心命题： Agent 对数据时效性的要求，决定了秒级入仓与高并发同步的必要性；Coding Agent 横行的时代，DDL 同步的完善度成为链路健壮性的关键；数据进仓之后，业务语义鸿沟、Token 成本与安全管控，则是 Agent 真正走向企业级落地的最后一公里。

NineData 以"实时数据复制 + 数据对比 + 业务语义层 + 安全访问控制"的一站式方案，帮助企业在享受 Agentic AI 爆发式生产力的同时，守住数据时效、质量与安全的红线。

未来有兴趣的读者，可关注 NineData 官方公众号与企业微信，与团队进行更深入的交流。

关于 NineData

NineData 是玖章算术（浙江）科技有限公司旗下智能数据管理平台，专注于云计算与数据管理基础技术创新，依托云原生架构与 AI 能力，打造覆盖数据库 DevOps、数据复制、数据对比、数据库 AI 智能体等核心场景的一体化数据管理平台，帮助企业实现"连接任何数据源、任何位置"的目标。目前 NineData 已支持 100+ 种数据源，服务 1000+ 家企业级客户，广泛应用于运营商、金融、能源电力、物流交通、制造与车企、医疗、政企等多个行业。