导读

组织正在亚马逊云科技上构建PB级数据湖，以实现数千名终端用户的访问民主化。当客户为了适当的功能和性能设计其数据湖架构时，许多人正转向开放表格式(OTF)，以提高数据湖的性能并采用增强的功能，如时间旅行查询和并发更新。在本次会议中，了解Amazon S3的最新创新，这些创新使构建、保护和管理数据湖变得更加容易。学习使用行业领先的亚马逊云科技、开源和第三方分析及机器学习工具来存储、优化和使用数据湖的最佳实践。

演讲精华

以下是小编为您整理的本次演讲的精华。

在不断发展的电子商务世界中，一家名为Forever E-commerce的公司发现自己正在与管理数据指数级增长的挑战作斗争。随着他们在线小部件销售的飙升，来自各种来源(包括数据库、文件系统和Amazon S3存储桶)的结构化和非结构化数据的积累变得越来越复杂。这种跨多个目的地的非结构化数据扩散带来了重大障碍，最终减缓了他们的业务运营。

认识到需要一个全面的解决方案，Forever E-commerce着手在Amazon S3上构建和优化数据湖。这一努力在2024年亚马逊云科技 re:Invent大会上被详细记录和展示，亚马逊云科技高级首席工程师Brian Lyles和首席工程师Carl Summers揭示了Forever通过六个不同阶段的非凡旅程。

第一阶段:认识到问题 Forever E-commerce的首席信息官Marcus Preston承认，在提供可靠的洞见来推动业务决策的同时，管理不断增长的数据是一个艰巨的挑战。他的同事、首席数据官Eugene Tate最初认为，仅将所有数据存储在Amazon S3中就足够了，但很快就明白需要一种更全面的方法。

第二阶段:创建一个弹性数据湖架构 Forever E-commerce建立了一个将数据划分为三个不同层次的强大心智模型:原始层、加工层和精选层。原始层包含直接来自业务运营的数据，如点击流数据、聊天记录、订单状态变更和应用程序服务器日志。这些数据使用高效的键结构被摄取到Amazon S3中，以实现高性能查询和可扩展性。值得注意的是，来自Amazon托管的Apache Kafka (MSK)集群的点击流数据以JSON行文件的形式批量落地。

加工层涉及对原始数据进行清理、转换和应用数据模式，以支持探索性分析和围绕核心数据结构的高效组织。Lyles和Summers强调选择正确的文件格式(如Apache Parquet)和表格式(如Apache Iceberg)的重要性。Iceberg将数据与存储位置解耦，提供了随着业务需求变化而演进表结构的灵活性，而其对象存储写入功能则在键结构中注入了随机性，使Amazon S3能够无缝扩展到任何读写量。例如，点击流数据被转换为一组Parquet表，可能按会话、产品线或客户细分进行组织，并与其他数据源(如客户历史记录)进行连接。亚马逊云科技 Glue Crawlers用于自动从原始数据中提取模式信息，并检测何时有新数据进入数据湖，准备进行处理。

精选层包含高度定制的数据集，按营销渠道或客户细分汇总，以提供历史性能指标。这些数据集通常被加载到Amazon Redshift等数据仓库中，以便于访问和高性能查询，或者存储在Amazon S3中，与加工层采用类似的考虑因素。

第三阶段:数据安全和治理 Forever E-commerce的首席信息安全官Sheila Vivian认识到，在建立弹性架构的同时，确保数据平台的安全性至关重要。为此，他们利用了三项关键的亚马逊云科技服务:亚马逊云科技 Glue Data Catalog、Amazon Lake Formation和亚马逊云科技 Data Zone。

Glue Data Catalog作为表元数据、模式和数据本身信息的中央存储库。Lake Formation实现了细粒度的访问控制，允许法国运营团队仅访问与其国家相关的数据，符合GDPR等法规。此外，Lake Formation支持列级过滤，确保敏感信息(如客户姓名)对数据科学团队等团队不可访问。

亚马逊云科技 Data Zone在整个组织内实现了数据所有权的去中心化和安全共享，发挥了关键作用。秉承“数据网格”理念，Forever E-commerce让来自财务、运营、营销和其他业务部门的领域专家将他们的数据打包并作为产品共享，并对访问、使用和血统跟踪进行细粒度控制。Data Zone通过中央目录简化了数据管理，允许存储在Amazon S3或Amazon Redshift中的数据由其所有者管理，而无需下游团队处理复杂性。

第四阶段:优化查询性能 在建立数据湖架构和安全措施之后，Forever E-commerce将注意力转向优化在Amazon S3上的查询性能。Lyles和Summers强调了几种在实现这一目标中发挥关键作用的技术。

按常用查询字段(如时间戳或客户细分)对数据进行分区，允许Amazon Athena和Apache Spark等查询引擎丢弃不相关的数据分区，从而显著提高查询性能。Iceberg的隐藏分区功能进一步增强了这一能力，通过对自然列进行转换来确定分区值，消除了查询编写者手动调整查询的需要。例如，点击流数据可以按事件时间的天、月或年进行分区，而无需分析师将时间戳转换为单独的列。

按频繁查询的列对数据进行排序，或对多维数据采用诸如Z-order排序等高级算法，使查询引擎能够根据文件页脚中的最小和最大值元数据跳过整个数据文件。Iceberg将此元数据提升到表级别，进一步优化查询性能。

使用高效的算法(如Zstandard)压缩数据不仅可以降低存储成本，还可以通过减少从Amazon S3读取的数据量来提高查询速度。实验表明，按列对组合进行排序可以比自然顺序获得高达22%的更好压缩比，进一步放大了性能收益。

Iceberg的压实功能解决了小数据文件的问题，这可能会导致查询效率低下。通过将多个小文件重写为较大的文件，并支持部分进度，Iceberg确保压实工作流程不会与写入工作负载竞争，从而为大型或高写入量表维持最佳性能。

第五阶段:数据质量和成本管理 随着数据湖的成熟，Forever E-commerce认识到保持高数据质量和控制存储成本的重要性。亚马逊云科技 Glue Data Catalog在验证数据正确性和完整性方面发挥了关键作用，其规则评估了预期值、值范围和行计数。基于这些规则的指标和事件被发布到Amazon CloudWatch和Amazon EventBridge，实现了对数据质量问题的自动警报和工作流触发。

Iceberg的写入-审计-发布工作流进一步加强了数据质量保证。新的写入被暂存在一个单独的分支中，允许进行全面的数据质量分析和人工验证，然后再将更改快进到主分支，确保只有高质量的数据对消费者可见。

为了优化存储成本，Amazon S3提供了一系列在访问时间和成本之间权衡的经济高效存储类。对于在摄取时频繁访问但之后很少访问的原始数据，生命周期策略可以将数据从Amazon S3 Standard转移到Amazon S3 Glacier Deep Archive，以实现长期、低成本的保留。对于访问模式未知或不断变化的加工数据集，Amazon S3 Intelligent-Tiering可以根据访问频率自动将数据移动到最经济的存储层。

第六阶段:可持续增长 随着Forever E-commerce的数据湖不断扩大，确保可持续增长成为一个至关重要的问题。对贡献于数据湖的所有服务(包括Amazon S3、Amazon Glue、Amazon EMR、Amazon Athena和Amazon MSK)进行全面监控至关重要。CloudWatch指标和仪表板提供了与数据质量、可用性、性能、存储成本和安全相关的关键绩效指标(KPI)的可见性。

为关键指标配置警报，并通过Amazon Simple Notification Service (SNS)发送警报，实现了主动问题检测和解决。使用Amazon CloudTrail审计数据访问和更改，进一步加强了安全性和合规性。值得注意的是，CloudTrail日志可以被摄取到数据湖本身，允许将用于业务数据的相同查询工具和方法应用于审计目的。

自动化在消除人工干预常规任务方面发挥了关键作用，实现了持续监控、审计、成本管理和可扩展性。通过采用这些实践，Forever E-commerce可以自信地管理其数据湖的增长，同时保持运营效率和成本效益。

在使用Amazon Athena(一种托管的Trino和Spark查询引擎服务)时，Forever E-commerce利用工作组在用户之间提供资源利用隔离。成本分配和CloudWatch指标用于监控和控制成本，而CloudTrail日志则跟踪数据访问和结果位置。

对于跨多个数据集的高度复杂查询，与S3表和Redshift Spectrum集成的Amazon Redshift非常适合，允许Forever E-commerce为不同的查询工作负载选择合适的计算平台。

永恒电商的六个发展阶段为在亚马逊 S3 上构建和优化高性能、安全且经济高效的数据湖提供了蓝图。通过建立可扩展的架构、实施高效的数据摄取、优化查询性能和成本、通过健全的治理确保访问安全、确保数据质量以及为可持续增长做好准备，永恒电商成功利用其快速增长的数据的力量来驱动业务洞察并在动态的电子商务环境中保持竞争优势。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。