导读

数据驱动型组织需要确保正确的用户出于正确的目的访问正确的数据——这需要符合组织的安全规定，而不依赖于个人凭证。参加本次讨论，探索如何在保持安全性和合规性的同时，通过亚马逊云科技分析服务高效地在团队和平台之间共享数据的策略。学习管理权限、加密和数据治理的最佳实践，以确保在整个组织内安全高效地共享数据。

演讲精华

以下是小编为您整理的本次演讲的精华。

在不断发展的数据驱动型组织的格局中，数据孤岛、数据副本和分散的治理长期困扰着成为真正数据驱动型组织的道路。然而，亚马逊云科技作为一线希望，提供了一套全面的解决方案，实现跨不同数据环境的无缝和安全的数据共享。

这一努力的核心是现代集成的数据管理方法理念，贯穿于亚马逊云科技产品的每一个方面。在亚马逊云科技 re:Invent 2024活动上，亚马逊Redshift产品经理Zuji阐述了这一方法的核心原则。

Zuji强调亚马逊云科技致力于实现高效的数据发现、最小化访问实时数据的延迟、提供强大的数据治理政策工具，并保护个人和客户信息。这些支柱构成了亚马逊云科技打造服务和解决方案的基础，旨在解决组织在追求数据驱动卓越过程中面临的独特挑战。

这一旅程始于数据湖，这一概念彻底改变了组织存储和管理数据的方式。亚马逊云科技 Glue Data Catalog作为数据湖的元数据存储，在这一努力中扮演着强大的助手角色。通过作为数据湖中元数据的单一事实来源，它使用户能够高效地定位和理解数据集，有效打破数据孤岛的障碍。此外，它与各种亚马逊云科技服务和第三方工具(如Athena、Redshift Spectrum、EMR等)的无缝集成，确保了无论使用何种引擎或工具，都能获得一致且受控的体验。

在数据湖环境中实现数据共享是一个无缝过程，通过亚马逊云科技 Glue Data Catalog实现。数据所有者可以创建资源链接，指向他们希望与其他亚马逊云科技账户共享的数据。同时，他们可以通过Amazon Lake Formation定义权限和访问控制策略，确保接收者只能访问授权的数据。从接收者的角度来看，共享的数据出现在他们的Glue Data Catalog中，与自己的数据无法区分，但实际数据仍安全地存储在所有者的账户中。这种创新方法允许跨账户安全高效地共享数据，无需数据移动，体现了亚马逊云科技对数据安全和治理的承诺。

对于已采用数据仓库的组织，Amazon Redshift是一个强大的助手。Zuji强调了Redshift数据共享的广泛采用，数千客户每天在共享数据上运行数百万个查询。这一功能允许跨数据仓库共享实时的、事务一致的数据，跨越账户和区域的边界。

客户采用了多种数据共享架构，如数据网格和中心辐射模型。数据网格架构促进了业务组之间的无缝协作，使它们既能作为数据生产者，也能作为消费者。相反，中心辐射结构则有利于将数据整合到一个共同环境中，卫星消费者可访问共享数据。

Zuji的同事Ora Botini是亚马逊云科技的首席大数据架构师，他深入探讨了数据网格架构的细节以及Amazon Data Zone所扮演的关键角色。该服务使数据生产者和消费者能够在一个共同平台上协作，通过其GNI功能实现自动发现和生成业务词汇表。

Botini全面演示了Amazon Data Zone的内部运作，从反映组织结构的分层域组织，到与Okta和Ping等企业身份提供商的无缝集成。基于浏览器的数据门户控制台为用户提供了访问平台的入口，无需亚马逊云科技控制台凭据，实现了用户友好和安全的体验。

Amazon Data Zone的核心是业务数据目录，数据生产者在其中发布资产，并丰富业务词汇表和上下文信息。消费者可以搜索、发现并订阅这些资产，在获得数据生产者批准后即可访问。治理和访问控制机制使数据所有者和管理员能够定义细粒度权限，确保数据按照组织政策安全共享。

Botini的见解不仅局限于数据共享领域，还深入探讨了下一代Amazon SageMaker的变革潜力。这一开创性平台将各种工具和服务整合为一个统一的体验，称为SageMaker Unified Studio，使不同角色(从业务分析师、数据管理员到ML科学家和工程师)能够协作并加速开发。

SageMaker Unified Studio将众多亚马逊云科技服务(包括Amazon EMR、Redshift和新推出的基于Amazon Data Zone基础构建的SageMaker Catalog)融合在一起。该目录将数据、模型、生成式AI和计算资源整合到一个统一的存储库中，用户可以通过与Amazon Q集成的自然语言查询来发现和访问相关数据资产。

Botini全面概述了SageMaker Unified Studio所提供的强大灵活性，其中项目包含数据、计算资源、代码和跨职能团队，促进无缝协作和实时问题解决。

为进一步说明亚马逊云科技数据共享解决方案的变革潜力，来自Occidental Petroleum (Oxy)的数据和分析战略顾问Jamie Johnston分享了一个引人入胜的真实案例。Oxy是一家百年历史的能源公司，业务遍布多个大陆，他们在亚马逊云科技上构建了Oxy数据和分析平台(ODAP)，采用了数据网格架构和Amazon DataZone、Redshift、Athena和SageMaker等服务。

Johnston生动描绘了Oxy的数据格局，其内部数据仓库虽然是结构化数据和BI报告的可靠存储库，但在可扩展性、维护负担和处理Oxy运营产生的大量非结构化和流数据方面存在局限性。

与亚马逊云科技的合作伙伴关系以及ODAP平台的采用，为Oxy开启了数据驱动卓越的新时代。Johnston介绍了平台的复杂架构，其中来自各种源系统、设备和传感器的数据流入由Apache Glue、Airflow、Kinesis和Amazon IoT SiteWise等服务支持的生产者域。

ODAP平台的核心是Amazon DataZone，充当治理层，对数据进行编目并促进生产者和消费者之间的安全数据共享。消费者层通过DataZone与Redshift和Athena的无缝集成，使用户能够利用熟悉的BI工具，同时受益于平台的可扩展性、民主化的数据访问和灵活的数据存储。

Johnston热情洋溢地展示了Delta Cipher聊天机器人，这是Oxy创新承诺的体现。该机器人集成到Microsoft Teams中，利用AI提供即时自然语言访问操作洞察，将对话式查询转换为SQL查询，并从各种来源(包括团队聊天、钻井数据和由Claude处理的基于图像的图表)聚合数据。

Delta Cipher聊天机器人展现了亚马逊云科技数据共享解决方案的力量，使钻井工程师能够在几分钟内获得全面的井口摘要、问题解决方案和说明，而这一传统上需要几天的手动数据聚合和分析。

Johnston坦率地分享了Oxy在数据网格之旅中的经验教训，这些见解非常宝贵。他强调采用迭代方法的重要性，承认完美往往是进步的敌人，必须根据不断变化的需求进行调整和适应。他还强调需要考虑支持数据网格架构所需的组织变革，而不仅仅是技术实施。

当演讲转向第三方数据协作时，Botini介绍了Amazon Data Exchange和Amazon Clean Rooms作为强大解决方案的概念。Amazon Data Exchange提供了多种许可和访问第三方数据的选项，从数据文件和Amazon S3存储桶，到通过Amazon Lake Formation和Amazon Redshift访问结构化SQL数据，以及第三方API。

Amazon Clean Rooms成为多方协作的游戏规则改变者，使组织能够从自身数据中获取洞见，同时利用外部数据源，而无需暴露底层数据。这一创新解决方案采用差分隐私技术，确保不会在协作者之间共享原始数据。相反，查询控制和执行机制限制对聚合洞见的访问，保护数据隐私和安全。

Botini的全面概述以响亮的行动号召结束，鼓励与会者探索下一代SageMaker，亲身体验SageMaker Unified Studio的变革力量。

总而言之，亚马逊云科技 re:Invent 2024活动展现了亚马逊云科技致力于实现跨不同数据环境的无缝和安全数据共享的坚定决心。从数据湖和数据仓库到湖仓和数据网格架构，亚马逊云科技全面的服务和解决方案套件使组织能够打破数据孤岛，最小化延迟，实施健全的治理政策，并保护敏感信息。

西方石油公司ODAP平台的真实成功案例证明了亚马逊云科技数据共享解决方案的变革潜力，展示了组织如何利用云规模、民主化数据访问、灵活的数据存储和联合数据治理的力量来推动创新和运营卓越。

随着世界继续拥抱数据驱动的范式，亚马逊云科技矗立为希望的灯塔，提供现代化、集成的数据管理方法，跨越传统界限，让组织能够释放数据资产的全部潜力。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。