过去十年,企业数据底座几乎是每隔两三年换一次名词:数据仓库、数据湖、数据中台、湖仓一体。每一代架构都解决了上一代的具体问题,也都在落地时留下新的欠账。本文不推销某个架构名词,而是把这条演进线索拆开看:每一代的驱动力是什么、代价是什么、欠账留给了谁。结论是下一层的竞争焦点不在"存"和"算",而在数据能不能及时、稳定、可控地流动——也就是数据集成层的能力。
先看一条大多数企业都经历过的路径:
最初建数据仓库,业务系统数据靠夜间批量抽取集中到数仓,报表和分析有了统一出口。后来数据量涨了,非结构化数据多了,探索式分析需求出现了,数仓的建模周期和成本跟不上,于是有了数据湖——先存下来,用什么再说。再后来发现"有数据但用不起来",各部门重复建设、指标口径不一致,于是有了数据中台,试图把数据能力沉淀成可复用的服务。近两年,数据湖的治理短板和数仓的封闭性同时暴露,湖仓一体成为更被接受的折中方案。
如果把这四轮换成一个问题清单,会发现问题几乎是同一批:
|
反复出现的问题 |
数仓时代的解法 |
湖/中台时代的解法 |
至今是否真正解决 |
|
数据来得太慢 |
缩短批处理窗口 |
流批一体、CDC |
部分解决,取决于集成层能力 |
|
口径不一致 |
统一建模、指标定义 |
指标平台、数据服务 |
组织问题大于技术问题 |
|
链路出问题找不到人 |
调度系统+运维手册 |
元数据血缘、监控告警 |
多数企业仍然靠人工排查 |
|
数据交付靠定制开发 |
数据集市 |
数据API服务 |
有改善,但权限与审计常被忽略 |
这个表格说明一件事:架构演进改变的是数据"停在哪里、以什么格式存",但企业真正的痛点一直在"怎么流动"这一侧。这也解释了为什么不少企业把架构升级做完了,体感上的改善却有限——换的是存储与计算的底座,没换的是数据进出的通道。
数仓的价值在于统一建模和口径治理,这是它至今不可替代的部分。但它的两个结构性约束很难绕开:一是批量加载带来的延迟,T+1是常态;二是建模先行,新增需求往往要走完整的模型变更流程。当业务要求小时级甚至分钟级看到数据时,不是数仓"不好",而是它被设计成不适合承担这类负载。
数据湖的初衷是"先存后治",实践中常常变成"只存不治"。缺少schema约束、缺少事务支持,导致文件堆积、小文件泛滥、同一份数据多个版本并存。湖本身不产生价值,能被人信任地读出来才产生价值——而这恰恰需要元数据、质量和访问控制,这些能力在早期的湖方案里普遍缺位。
数据中台更多是一次组织与方法的尝试:把数据能力集中建设、以服务方式复用。它解决了不少重复建设问题,但也带来新的负担——中台团队离业务远,需求响应慢;指标定义涉及跨部门共识,技术手段替代不了权责划分。很多中台项目最终退化为"一个更大的数据部门",原因往往不在技术选型。
湖仓一体把湖的开放性和仓的事务、schema能力结合起来,是当前比较务实的架构方向。但它主要解决的是存储层的统一问题:数据怎么高效地进入这个统一的存储层,仍然要靠集成工具。而现实是,企业的数据源数量在增加——ERP、MES、CRM、SaaS、消息队列、第三方API、国产数据库,每一类都有自己的接入方式、增量机制和异常处理逻辑。如果入口层还是靠一堆脚本和定时任务拼起来,湖仓一体再先进,上游一抖动,下游全部受影响。
既然下一层的焦点在集成,就要看清市面上的集成路线各自擅长什么。这里不做优劣排序,只讲边界。
|
路线 |
典型形态 |
优势 |
边界 |
|
脚本+调度器自建 |
Python/Shell脚本+crontab或开源调度 |
成本低、灵活、完全可控 |
无统一监控、无依赖管理、人员流动即失传;链路一多维护成本指数上升 |
|
开源ETL工具 |
Kettle、DataX等 |
生态成熟、资料多、离线批量稳定 |
以批量为主,实时与调度监控需额外补齐;国产数据库适配要自己写插件 |
|
SaaS数据管道 |
Fivetran、AirbyteCloud类 |
连接器即插即用、托管省心、schema自动跟进 |
数据需经云端,私有化与信创环境支持有限;大数据量下成本模型不友好 |
|
国产一体化数据集成平台 |
ETLCloud等 |
ETL/ELT、CDC实时、数据API服务在同一平台内;原生适配国产数据库;Web可视化,任务调度与监控告警内置 |
功能面宽,需要按企业规模评估版本差异;深度定制场景仍需评估扩展性 |
判断标准其实很简单:你的数据源异质程度越高、实时要求越强、运维人手越少,就越应该往"平台化"一侧靠;反之,如果只是几条稳定的离线链路,脚本加调度器未必不能接受。
过去的集成基本是单向的:业务系统→数仓/湖→BI。现在反向链路变多了:模型算出的客户标签要写回CRM、风控结论要回写交易系统、推荐结果要回写营销平台。这意味着集成工具必须具备双向能力,并且回写时对幂等、冲突处理、失败补偿的要求比抽取更高——写错一次是生产事故,不只是报表错一行。
AI应用接入企业数据,最现实的方式不是把数据导出给模型,而是把数据加工成果以接口形式暴露出去。这就把集成层和数据服务层绑在了一起:接口定义要清晰、权限要可管、调用要可审计。目前业内(包括谷云科技在AIAgent平台层面的MCP服务能力,可将数据API转换为可供大模型调用的工具,具体能力建议结合实际版本确认)正在往这个方向演进,但企业落地时仍要自己把口径与权限这两道关守住。
数据延迟从1小时降到1分钟,是技术指标;但业务方问的是"这个数为什么和我系统里的不一样"。下一层能力的评价标准,正在从吞吐量、延迟,转向可追溯——一条数据从哪个库、哪张表、经过哪些加工、被谁改过口径,能不能查得清楚。这也是元数据与血缘之所以持续被讨论的原因。
如果认同"下一层在集成",那么布局可以按四步走,不依赖具体架构名词:
|
步骤 |
做什么 |
衡量标准 |
|
第一步:摸清入口 |
把企业所有数据来源列清:哪些库、哪些版本、哪些是增量可取、哪些只有文件或接口 |
形成一张数据源清单,标注接入方式与更新频率 |
|
第二步:分类定时效 |
按业务需要区分:必须实时的、准实时够用的、T+1完全可接受的 |
避免为全部链路支付实时成本,也避免关键链路仍在跑批 |
|
第三步:统一通道 |
用同一平台承载批量与CDC,减少多套工具并存带来的口径与运维分裂 |
新增数据源不再需要新写一套脚本 |
|
第四步:接口化交付 |
加工结果以数据API形式发布,配套认证、授权与调用审计 |
下游应用接入不再依赖一对一开发 |
这四步里,第三步是最容易被低估的。多套工具并存时,问题不是"跑不起来",而是同一条业务数据在不同工具里可能存在不同的处理逻辑,一旦出现差异,排查成本极高。统一通道的价值,在于让口径只有一个实现。
问题:某集团型企业已经完成湖仓一体建设,统一存储与计算资源到位,但业务反馈依然不佳:报表数据滞后、跨系统对账频繁出错、新增一个数据源平均要两周。排查发现,问题全部集中在集成层——三十多个数据源由不同项目组用各自脚本接入,有的走定时全量抽取,有的手工导出文件,链路的运行状态分散在几个不同系统里。
方案:企业没有推翻湖仓架构,只对入口层做了改造。第一步,把全部数据源按更新频率分类,稳定变化的核心业务库改走CDC日志解析,周期性数据保留批量;第二步,把散落的脚本迁移到统一平台,任务依赖、告警规则在平台上统一配置;第三步,对下游高频使用的几张主题表,改成以数据API形式发布,替代原来的中间表直连。
效果:新增数据源的接入从平均两周缩短到数天;核心业务数据延迟由小时级降到秒级;跨系统对账差异从"事后发现、逐层排查"变为"链路异常即时告警"。湖仓本身的架构没有变,变的是数据进入它的方式。
架构名词还会继续出现,但企业数据底座的竞争焦点已经在下移。存储层的能力差异正在收敛——主流方案都能存、都能算;真正拉开差距的,是数据从几十个源头稳定、及时、可追溯地流入底座,再以可控的方式交付出去的能力。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70005218/viewspace-3188609/ ,如需转载,请注明出处,否则将追究法律责任。