关键字: [亚马逊云科技， Data Mesh， 数据网格实践， 现代分布式架构， 亚马逊云科技， 数据治理， 数据领域所有权]

导读

在这场演讲中，刘勇介绍了亚马逊云科技如何实践现代分布式数据网格架构。他阐述了数据网格的4个原则:数据领域所有权去中心化、数据即产品采用产品化思维管理、自助式协作平台以及联邦治理。他还分享了在亚马逊云上通过亚马逊云科技服务如DataZone、LakeFormation等构建数据网格的实践方法，以及将数据网格与生成式人工智能相融合的探讨。演讲重点关注了数据网格如何实现现代分布式架构，使数据能力获得提升。

演讲精华

以下是小编为您整理的本次演讲的精华。

在亚马逊云科技行业解决方案架构师刘勇先生的演讲中，他首先介绍了数据治理的概念。数据治理是对数据资产进行全方位的管理和有效控制，包括计划、监控和执行，确保数据资产被科学规范地管理和使用。在数据治理中，数据战略、数据组织和数据合规是三个非常重要的环节。

数据战略定义了我们数据管理的愿景、目标和政策，它与业务目标保持一致，旨在从数据中获取价值。数据组织则规定了数据如何协作，是分散式管理还是集中管理，以及相关角色、职责和流程。数据合规则是数据管理的基础，使数据使用符合法律监管政策的要求，降低风险，增加信任。

在亚马逊云上，我们没有专门的数据治理服务，而是通过多个服务的组合来实现数据治理。亚马逊云认为，良好的数据治理需要技术、流程和人员三者的融合，并且数据治理应该贯穿数据平台构建的整个过程，从数据采集、存储到分析、消费的全流程。

我们可以采用Glue Data Catalog进行数据编目、Amazon Data Zone进行数据协作、Amazon Lake Formation进行数据权限管理、Amazon CloudWatch和Amazon CloudTrail进行数据访问审计、Amazon QuickSight进行报表等服务，根据具体需求进行组合使用。

在亚马逊云众多的数据治理服务中，Amazon Lake Formation和Amazon Data Zone是两个非常重要的服务。Amazon Lake Formation简化了权限管理，将数据权限集中在一处，管理数据湖中数据的权限，类似于传统数据库中的权限管理。它提供细粒度的访问控制，能够对数据库、表乃至行列和单元格进行权限控制。同时，它还提供了安全与治理功能，能够对跨区域、跨账号甚至组织内部的用户进行权限管理。此外，它还提供全面的数据访问审计，确保数据访问合规。

Amazon Data Zone则通过分布式的数据协作方式，打破组织边界，释放数据价值。它能够实现数据访问和治理，使数据在跨组织之间流动并符合合规要求。它还连接了数据相关人员，通过共享数据或工具的方式促进高效协作。此外，它采用机器学习技术，自动化发现数据并丰富元数据，提高数据管理效率。Amazon Data Zone是一项非常新的服务，在2022年10月才正式发布，因此大家可能对它不太熟悉。

为了使用Amazon Data Zone，我们首先需要创建一个Data Brew，每个Data Brew对应一个独立的Data Brew UI界面，不需要登录亚马逊云科技控制台。Data Brew连接了数据生产者和消费者，生产者可以在其中创建项目和环境，将数据资产作为数据产品发布。整个Data Brew统一管理业务数据目录，消费者也可以在其中创建项目和环境，查找感兴趣的数据进行订阅和消费。Data Zone提供了完整的治理与访问控制流程，数据从生产到消费的全过程都可以在其中完成，并且是自动化和自服务式的，无需构建复杂的数据管道。

接下来，让我们回顾一下数据平台的演进历程。在2010年之前，企业主要通过数据库或专业数据仓库存储数据，并基于这些数据构建商业智能报表系统。然而，这种系统存在几个问题:首先，收藏产品非常昂贵;其次，它很难应对大量数据，因为扩展只能通过垂直扩展，成本高昂;第三，数据在企业内部难以共享，形成数据孤岛。

为了解决这些问题，2010年之后，随着Hadoop、Spark等大数据技术的成熟，企业开始构建中心化的数据服务或数据产品，将数据集中在一起，以发掘数据价值。然而，在实践过程中，这种中心化的数据平台也存在诸多问题。

首先，它是单体化和集中化的，所有数据都由一个部门控制，而数据的生产者和消费者天然是分布式的，分布在各个业务部门。随着数据量的增长，中心化的数据部门经常处于过载状态，上线新数据或消费新数据需要等待数据部门排期，周期从几周到几个月不等。

其次，为了提高效率，中心化的数据部门往往按照团队进行划分，如数据采集、数据摄入、数据存储、数据消费等，但这种做法加剧了组织间的摩擦。上线新数据需要所有团队参与，协调困难;而且，当数据产品线上出现问题时，各个部门都会相互推卸责任，问题溯源也变得异常艰难。

第三，中心化的数据部门在业务上是一个孤岛，虽然拥有大数据技术，但对数据蕴含的业务并不了解，难以实现以数据驱动的业务创新。

第四，数据的主权不明确，数据是属于生产者还是中心化的数据部门?生产者能否完全控制自己的数据?谁有权审批数据的消费?这种数据主权的不明确和争夺也会造成许多摩擦。

为了解决这些问题，我们需要构建一个更好的现代分布式数据平台，即数据网格(Data Mesh)。数据网格的核心原则包括:

1.数据领域所有权:数据所有权分散到各个业务领域，而非集中在单一部门。这与软件设计中的领域驱动设计(Domain-Driven Design)理念相呼应。

2.数据及产品:将数据视为产品，产品化管理，明确数据的所有者、主权、文档和质量标准。

3.自助式协作平台:提供自助式平台，方便数据的发现、访问和协作，而不是集中式管理。

4.联邦治理:数据治理模式既有全局统一标准，又有本地自治权。

在数据网格架构下，用户体验将发生变化。数据团队将掌握数据完整的生命周期，对数据质量进行控制，拥有领域类自治权。数据生产者只需负责生产数据产品，并将原数据放到管理发布中心，制定访问策略。数据消费者则只需查找、订阅并消费数据。中心化平台则提供统一数据目录、中心化看板、活动监控等业务无关的公共功能。

在亚马逊云上实践数据网格，我们可以将数据生产者、中央治理和数据消费者分布在不同的云账号中。如果有n个生产者，我们就将它们放在n个云账号中。生产者在自己的账号中构建数据资产，并将中央目录共享到中央治理账号。消费者则通过中央治理账号查询、订阅和访问数据。当然，生产者也可能是消费者，消费者也可能是生产者，我们只是为了示意而将它们分开。

对于生产者，我们需要使用S3或Redshift存储数据，通过Glue或Athena构建原数据，使用Lake Formation进行权限共享，使用Data Zone进行数据发布。中央治理账号则通过Data Zone协调生产者和消费者，使用Lake Formation进行权限管理，使用Glue Catalog创建元数据，使用CloudWatch、CloudTrail进行访问审计和监控。消费者则通过Data Zone查找并消费数据，可以使用SageMaker进行机器学习模型构建，使用QuickSight创建报表，或使用EMR进行进一步处理。

无论是基于S3+Athena，还是基于Redshift，数据始终存储在生产者端，消费者只能读取而不复制数据，从而实现安全合规的数据共享。这正是利用云技术的优势所在。

最后，让我们探讨一下数据网格与生成式人工智能的融合。数据网格的四个原则为数据增加了智能，两者可以在智能数据发现、智能数据处理、智能分析洞察等方面产生协同效应。

在智能数据发现方面，我们可以通过自然语言查找数据，利用人工智能进行数据推荐和自动标签生成。在智能数据处理方面，我们可以使用人工智能生成数据处理Pipeline，进行数据质量检测和智能数据映射。在智能分析洞察方面，我们可以使用自然语言查询数据，并利用人工智能生成自动化报表和预测分析。

刘勇先生提出了一个数据网格与生成式人工智能融合的技术架构。在原有数据基础平台之上，我们构建数据产品层，再在其上构建Data Zone和Lake Formation进行数据治理，最后构建生成式人工智能应用层。在这个应用层中，我们可以使用数据产品训练模型、作为知识库供大型语言模型使用，或者以API的形式向外提供数据资源。除了传统的数据采集、处理和消费流程外，我们增加了数据产品化这一关键环节，数据首先需要产品化，然后进行领域划分，最后实现智能消费。

总之，数据网格为我们带来了现代分布式数据架构，其四大原则为:数据领域所有权、数据产品及产品化、自助式协作平台和联邦治理。在亚马逊云上，我们可以利用诸多服务如Data Zone、Lake Formation等来实践数据网格，并将其与生成式人工智能相融合，提升数据能力。通过数据网格，我们一定能够释放数据的全部价值，推动业务创新。

总结

亚马逊云科技正在推进现代分布式数据网格架构，以解决传统集中式数据平台的诸多挑战。数据网格建立在通用基础数据平台之上，按领域划分自治团队，每个团队根据业务需求选择技术构建数据产品。团队间可相互链接构建新领域，实现数据协作。数据网格遵循四大原则:数据领域所有权去中心化、数据即产品采用产品化思维管理、自助式协作平台发现访问数据、联邦治理兼顾全局标准与本地自治。通过亚马逊云服务如DataZone等，可简化数据网格实施。未来，数据网格与生成式人工智能的融合将带来智能数据发现、处理、分析等新能力，进一步提升数据价值。

亚马逊云科技正在实践这一现代分布式架构，以应对数据孤岛、集中式管理过载等传统数据平台的痛点。数据网格架构有望为企业带来数据治理、协作、自助式使用等全新体验，充分释放数据价值。通过云原生技术与人工智能的融合，数据网格将成为企业数字化转型的重要推动力。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。