导读

随着开源表格式的出现，开放数据湖仓架构将数据仓库的性能和原子事务引入了数据湖。参加本次会议，了解Apache Iceberg和Apache Polaris（孵化中）如何通过多引擎互操作性和治理来增强开放数据战略。此外，还将了解一家大型企业如何使用Apache Iceberg来实现与亚马逊云科技和Snowflake的成本效益互操作性。本次演讲由亚马逊云科技合作伙伴Snowflake为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

在数字化转型的领域中，保险巨头Allianz Technology在德国开启了一场革命性的数据生态系统转型之旅。Allianz Technology的技术数据领导者Yvonne揭示了他们在遗留系统中面临的挑战，该系统建立在一个庞大的Oracle平台之上。这个平台从各种来源摄取数据，包括DB2、PostgreSQL、SAP系统，甚至Excel电子表格。然后，数据被处理、协调和历史化，使用户能够访问长达20年的数据历史记录。

然而，这个遗留生态系统并非没有缺陷。第一个也是最重要的挑战是，在二十年的时间里，已经构建了大量定制逻辑。作为一家受监管的保险公司，Allianz Technology常常发现现成的解决方案无法满足其特定需求，因此需要开发定制代码。这些代码随着时间的推移积累，以复杂的方式相互交互，使得可维护性、可扩展性和可操作性成为了一项艰巨的任务。

第二个瓶颈在于处理层，约有50个异构数据源被中央Oracle团队摄取。每个数据源都有其独特的发布周期，迫使中央团队精心协调和协调数据摄取过程。这种复杂的协调过程由于需要确保数据质量和处理不同系统之间的交互而变得更加复杂。

历史化层虽然是一个有价值的组件，但也存在一些挑战。所有数据都以原始形式保存，没有任何访问管理或符合数据隐私法规的要求。这些关键步骤被推迟到数据被消费时才执行，给负责数据摄取的同一团队带来了沉重的负担。这导致数据消费者不得不在一个规则和法规的迷宫中导航，往往会产生冗余的数据副本和数据孤岛。

认识到转型的需求，Allianz Technology于2022年启动了“Wanadia”项目，旨在创建一个联合模型，提供可扩展性、性能，并能够处理任何数据类型，同时实现跨公司的数据共享。他们最初的目标是雄心勃勃的:支持可扩展和高性能的工作负载、运行企业级机器学习、处理任何数据类型，并促进整个组织内的数据共享。

Philip是Allianz的一位专门的解决方案架构师，他引入了Apache Iceberg的概念，这是一种开放的表格式，结合了数据湖和数据仓库的特性。Philip解释说，Iceberg确保了一致性和事务安全性，消除了冗余数据副本和复杂ETL过程的需求。通过提供单一的真实数据源，多个引擎可以直接消费数据，无需数据移动。

Philip强调了Iceberg在他们的转型之旅中发挥关键作用的四个主要特性:

1.           事务安全性:在多租户环境中，这是一个至关重要的特性，确保了当多个用户同时访问和修改同一数据集时的数据完整性。

2.           模式和分区演进:与传统的数据湖环境不同，在传统环境中，更改或添加列可能需要重写整个表，而Iceberg在元数据层处理模式和分区演进，允许无缝更改而不会中断操作。

3.           压缩和优化:Iceberg提供了压缩和优化数据文件的机制，确保了最佳性能，尤其是在处理流数据源或生成大量小文件的情况下。

4.           时间旅行:这个特性允许用户查询数据的历史快照，消除了复杂的增量机制的需求，并促进了审计和合规性要求。

根据Philip的说法，采用Iceberg的战略优势是多方面的。首先也是最重要的是，它基于开放标准，使Allianz Technology摆脱了供应商锁定。其次，它具有成本效益，利用数据共享和在Amazon S3上的存储，这是非常经济实惠的。此外，Iceberg是可互操作的，允许用户无论选择何种处理引擎(如Snowflake或亚马逊云科技服务)，都可以就地消费数据。最后，Iceberg拥有活跃的生态系统和社区，确保持续投资和创新。

来自Snowflake的Ben深入探讨了Snowflake如何支持Iceberg。他强调了Snowflake的托管服务、安全的数据治理，以及在使用Iceberg表时实现的性能改进。Snowflake的路线图包括增强对Iceberg表的数据摄取、转换和数据共享功能，确保高级治理功能，如基于角色的访问控制和数据掩码。

Yvonne随后分享了Allianz Technology的实施之旅，他们将Apache Iceberg置于架构的中心，使用Amazon Glue从各种来源摄取数据，包括文件、数据库连接和数据流，所有数据都汇聚到Iceberg层。亚马逊云科技 Glue Data Catalog用于管理与这个“青铜层”相关的元数据。

这种方法最大的优势在于能够直接从处理引擎(如Snowflake、SageMaker和自定义机器学习解决方案)访问数据，无需数据移动或冗余。这消除了他们之前生态系统中的数据孤岛，在那里数据消费者经常创建自己的数据副本，导致一致性和扩展性问题。

为了解决访问管理和数据隐私挑战，Allianz Technology采取了两管齐下的方法。首先，他们将数据隐私规则(如GDPR合规性)上移，确保离开青铜层的所有数据都是从设计上就符合合规要求的。其次，他们在Snowflake内按公司分离数据，减少了在整个数据模型中应用业务规则的复杂性。这种方法在Oracle技术栈中曾经困扰了他们120多年，现在将访问管理规则的复杂性显著降低了325倍。

这一转型的成果令人印象深刻。在演讲时，Allianz Technology正在运行一个拥有超过1.1PB数据的Oracle集群，包含超过150万个表和50多个数据源。每周，他们以批处理模式处理超过80亿行，以流模式处理超过1.3亿个事件，支持超过300个数据产品。

从这一旅程中吸取的经验教训是宝贵的。通过优化访问管理和数据隐私规则，Allianz Technology能够显著降低生态系统的运营复杂性。Iceberg的元数据表演进功能实现了可扩展性，缩短了数据产品的上市时间，使变更能够无缝地融入生态系统。

此外，“自带数据”的方法使相关团队能够直接将其数据贡献到Iceberg层，使用相同的开放表格式。这促进了数据民主化文化，使团队能够构建数据产品，而不完全依赖于中央团队。

也许最重要的是，采用像Iceberg这样的开放表格式解锁了利用多个计算引擎进行不同分析目的的能力。正如主旨演讲中所强调的，存储和计算的互补性将继续发展，每个计算引擎都将提供独特的价值主张。通过拥抱这一范式，Allianz Technology使自己能够从数据中获取最大价值，利用各种引擎的优势来处理不同的分析工作负载。

展望未来，Allianz Technology计划进一步增强其生态系统，使源系统能够将自己的数据带入Iceberg层，促进更大的互操作性和赋权。此外，他们设想在青铜层之外存在一个开放的数据目录，进一步改善元数据管理，并促进跨引擎协作。

Ben随后介绍了Snowflake的开放目录解决方案Polaris，旨在解决多引擎环境中的挑战。Polaris提供跨引擎读写持久性，确保无论使用何种处理引擎，都能一致地访问数据。它还提供集中的安全性和访问管理，消除了在不同引擎之间进行冗余访问控制机制的需求。

值得注意的是，Polaris旨在无处不在运行，没有供应商锁定，并支持Apache Iceberg和Hudi开放表格式。这种开源方法与Allianz Technology基于开放标准构建生态系统的愿景保持一致，促进了互操作性，避免了专有依赖。

总之，在亚马逊云科技 re:Invent 2024上的演讲展示了Allianz Technology利用开放标准(如Apache Iceberg和Snowflake的Polaris)构建联合数据生态系统的转型之旅。通过采用这些技术，他们优化了访问管理，实现了可扩展性和元数据演进，赋予相关团队权力，并解锁了利用多个计算引擎进行不同分析目的的能力。

这种方法不仅解决了遗留系统的瓶颈和挑战，而且为更高效、受控和面向未来的数据湖库架构铺平了道路。Allianz Technology、Snowflake和亚马逊云科技之间的合作展示了开放标准的力量，以及围绕Iceberg等技术的活跃生态系统，为保险业乃至更广泛领域的持续创新和数字化转型奠定了基础。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。