首页 > 人工智能 > 人工智能 > 为什么企业人工智能需要统一元数据基础设施
企业 AI 围绕模型、图形处理器(GPU(图形处理器))、向量数据库和智能体框架产生了大量噪音。这些讨论固然重要。但决定企业 AI 能否奏效的转变,正在模型之下发生。
几十年来,元数据意味着文档。团队构建目录以便人们查找数据集,治理项目记录定义和归属,血缘帮助在故障发生后重建故障原因。
元数据描述业务。AI 期望元数据来运行业务。这一差距比听起来更大。
AI 系统不会继承资深分析师头脑中多年积累的机构知识。它不知道财务部门对收入的定义排除了退货,而销售部门的定义包含了退货。它不知道客户 ID 在三年前的一次迁移后变得不可靠。它不知道流失率在上个季度被重新定义。
人们会随着时间掌握这些,通常是通过吃过一次亏。AI 只是用它碰巧遇到的任何定义来回答,没有“吃过一次亏”的记忆可以依靠。这就是元数据从文档转变为基础设施的原因。
基础设施是每个应用都无需思考就依赖的东西:网络、身份、存储。每个应用都假定它存在。业务含义如今也属于这一范畴。
每个 AI 应用都依赖于客户、收入、产品、合同和风险在跨系统间保持一致的相同定义。当它们不一致时,AI 会以任何人类团队都无法企及的速度放大这种不一致。
BI 最先向我们展示了这个问题。两个仪表板会返回两个不同的数字,因为两个工具以两种不同方式实现了相同的指标。大多数组织学会了与之共存:对账会议、电子表格对决、关于谁的报表正确的长期争论。
AI 打破了对语义不一致的容忍度。仪表板上的错误数字会被在场的人发现。智能体据以行动的错误数字可能在任何人注意到之前就流经自动化工作流。
模型基于交给它的任何业务上下文进行推理。碎片化的上下文会产生一个自信的错误答案,而这比一个明显错误的答案更糟。没有受治理的上下文,AI 智能体只是一个快速、能说会道的猜测者。
这是一个架构问题。再大的模型规模也无法改变这一点。解决办法是确保每个 AI 系统都基于受治理的业务定义进行推理,这些定义在整个企业范围内保持一致,无论哪个平台使用它们。
企业治理花了 20 年时间回答一个问题:谁可以访问这些数据?这个问题仍然重要。AI 提出了第二个同样重要的问题:这些数据到底意味着什么?
两个拥有相同访问权限的分析师,如果以两种不同方式计算同一指标,就可能得出两个不同的数字。大多数治理平台只记录定义,然后就止步于此。执行这些定义是另一项工作,而且通常是缺失的一项。
大多数企业走到今天这一步,是通过将多个元数据工具组合成一个拼装式解决方案:针对每个症状,在不同时间点购买合适的工具。用血缘工具重建出了什么问题。用目录工具做发现。用治理平台做策略。用语义层做 BI。它们都不是在共享基础上设计的。
每次采购只解决了自己那一部分,并保留了自己那份关于事物含义的副本。四个工具之后,工作在四个地方获得资金,却没有一个地方真正负责,也没有任何地方进行衡量,而企业仍在问它最初提出的那个问题。
AI 让这个差距更难被忽视。模型会使用它最先找到的定义,而且无论用哪个定义,听起来都同样自信,对它们之间的冲突视而不见。自信是模型的一种属性,与它底层承载的业务逻辑无关。
治理需要超越访问控制。它需要将业务定义与实现这些定义的系统连接起来,并附带所有权、版本历史和血缘关系。术语表条目与执行该定义的系统不应彼此脱节。
当一个指标的文档化定义与应用程序实际执行的定义不一致时,治理就变成了一项行政工作,而不是一种运营能力。AI 只是比以往任何技术都更快地暴露了这个差距,使其无法被忽视。
平台层面还有其他变化正在发生。现在,每家主要云厂商都原生提供某种形式的治理、指标定义或 AI 上下文。这是真正的进步,企业应当期待这一点。
然而,几乎没有企业只生活在单一供应商的边界内。大多数企业运行多个云、一堆遗留应用、SaaS 工具、多个 BI 平台,以及来自不止一个提供商的 AI 服务。每个平台都为自己的世界做优化。
业务定义必须能够在所有这些平台之间流转。如果每个平台都保留自己对事物含义的版本,组织就会重建同样的碎片化,只不过现在它更深地嵌入 AI 工作流中,更难被发现。
与任何单一供应商的平台相比,供应商中立的元数据架构解决的是不同的问题。当业务定义能够随企业移动,而不是被困在单个平台内部时,组织获得的是战略灵活性,而不是积累另一种形式的锁定。
所有权仍归企业所有,与恰好消费这些定义的技术无关。这意味着不必在基础设施每次变化时重新定义业务。
随着 AI 生态系统不断变化,掌握业务含义的所有权与掌握数据本身的所有权同样重要。
元数据管理正在进入第二代。
第一代关注的是发现:找到数据集、记录谁拥有它们、构建目录。这是必要的工作,如今大多数企业仍在进行。但仅靠它已经不够了。
第二代关注的是执行。元数据将塑造 AI 系统如何推理、分析平台如何计算指标、治理策略如何应用,以及组织如何证明机器代表其做出的决策背后的来源。
这需要不同的设计:血缘、编目、治理和业务定义都从同一个共享的元数据基础中获取。业务上下文成为一个运营模型,每个消费系统都直接从中读取。
业务定义也将开始看起来更像软件。受版本控制。通过开发流水线流转。部署前进行影响测试,就像代码变更在发布前要经过测试一样。AI 智能体、分析平台、数据库和应用程序都将读取相同的受治理定义。
这门学科有一个名字:MetadataOps,以及与之配套的角色。MetadataOps 工程师负责业务定义进入生产环境的路径,就像平台工程师负责代码进入生产环境的路径一样。该角色位于上下文工程的上游:上下文工程决定什么进入智能体的窗口,而 MetadataOps 决定最初存在什么可供检索。
企业将业务含义作为工程化资产来构建和维护,与生产环境中运行的其他一切采用同样的纪律。真正的突破在于,企业终于给予上下文与它们多年来给予代码、基础设施和安全相同的工程纪律。
二十年来,元数据都是在事后解释企业。下一个十年将取决于元数据在决策之前引导企业。
转载声明:本文为转载整理,原文版权归原作者及原站点所有。
原文来源:InfoWorld
原文作者:Christian Bremeau;如有侵权,请联系管理员删除。