关键字: [亚马逊云科技， S3 Metadata Manager， S3 Metadata Management， Data Asset Discovery， Unstructured Data Processing， Ai Model Integration， Metadata Query Optimization]

导读

在这个演讲中，戴阳介绍了亚马逊云科技新推出的S3元数据管理服务S3 Metadata Manager。该服务能够自动从S3对象中提取元数据，并将其存储在托管的Iceberg表格中，方便用户通过SQL查询检索所需数据。演讲重点阐述了S3 Metadata Manager解决了客户在海量非结构化数据中查找所需数据资产的痛点，提高了数据检索效率。该服务还支持细粒度的权限管控，确保数据安全。最后，戴阳通过演示和客户案例展示了S3 Metadata Manager在实践中的应用价值。

演讲精华

以下是小编为您整理的本次演讲的精华。

在当今时代，数据的快速增长给存储带来了前所未有的挑战。人工智能(AI)的兴起使得大量数据不再是问题，但同时AI工具也产生了大量数据。根据视频中的介绍，目前在Amazon简单存储服务(S3)上已经有4000万亿个对象，包括结构化数据和非结构化数据，如视频、图像、文档等。

过去，我们通常会使用数据仓库或自定义工具从输入数据中提取有用信息，为业务创造价值。但现在，我们会使用AI模型来处理输入的结构化和非结构化数据，形成两部分输出。第一部分是基于输入数据训练出适合您业务场景的模型;第二部分是使用该模型从其他数据中获取摘要信息、知识库、聊天机器人等，为业务创造价值。

随着数据量的不断增长，如何从海量数据中找到所需的数据资产已经成为行业痛点。解决这一问题需要元数据的帮助。元数据对于高效搜索数据资产非常重要，及时更新元数据也很关键，确保搜索到最新版本。但通常情况下，原数据和元数据是分离的，给管理带来了挑战。传统做法是将原数据提取出来，放在另一个具有搜索能力的地方，比如关系型数据库中，以便将来可以通过某些方式方法进行搜索。

为了解决这一挑战，亚马逊云科技在去年的re:Invent大会上推出了S3 Metadata Manager服务。S3 Metadata Manager做的最重要的事情就是能够在我们上传数据到S3时自动生成元数据。然后，您可以通过SQL的方式来检索我们的整个数据集，这样最终用户就有了一个非常自动化的方式来对信息进行解锁，因为您可以使用最有效、最方便、学习曲线最低的SQL方式对元数据进行查询。

S3 Metadata Manager会包括三大类元数据。第一类是S3本身的系统级别元数据，包括对象键、大小、时间等21个数据字段。第二类是对象标签，因为S3的所有对象您都可以在上面添加标签。第三类是用户在上传对象时自定义的元数据信息。有了这些元数据，就可以非常方便地对整个数据集中的所有对象进行解锁和检索。

所有提取的元数据都会以Iceberg表的形式存放在亚马逊云科技去年发布的另一个新产品S3 Table中。S3 Table本质上是对开源Iceberg表格存储的托管，将其以托管的形式存放在S3上，客户无需维护整个Iceberg管理体系。通过S3 Table，您可以使用亚马逊云科技上的各种查询引擎或自己的分析引擎直接在上面查询所有元数据。

考虑到数据安全的重要性，亚马逊云科技在S3 Metadata Manager的整个架构中也增加了细粒度的权限管控，通过Glue和LakeFormation继承，可以更细化地控制对数据的访问权限。

在演示部分，首先从零开始创建S3 Metadata Manager。第一步是创建一个托管的Iceberg表S3 Table Bucket，选择是否要与亚马逊云科技的分析服务集成。然后在S3 Bucket中创建Metadata，并选择之前创建的S3 Table。完成这两步后，S3 Bucket就有了一个与之同步的Metadata。

接下来运行脚本上传一些测试数据，在上传时为部分数据添加了用户自定义元数据字段。上传完成后，通过LakeFormation为S3 Table分配合理的权限，选择一个特定用户并为其分配只读权限，以防止对表进行写操作。

权限设置完成后，回到Athena查询工具。首先执行一个简单的Select查询，可以立即查询到所有上传的原始数据。然后由于之前注入了业务单元字段，使用Group By语法对业务单元进行聚合查询。如果有自定义的用户字段，就可以非常方便地使用S3 Metadata Manager进行与业务相关的聚合查询。前提是在S3原始对象上有较好的元数据，S3 Metadata Manager就可以将这些有用信息提取出来，几乎在分钟内就可以查询到这些信息。

视频中提到，图片网站Flickr已经使用S3 Metadata Manager高效查询其22年来积累的用户图片数据。Flickr对S3 Metadata Manager非常感兴趣，因为它可以帮助高效利用多年来沉淀的海量数据资产。

另一个例子是亚马逊云科技的AI平台Bedrock。每次推理完成后，Bedrock会将结果放在S3上，并在对象上增加两个自定义元数据字段:content source表示该对象来自Bedrock服务，model id表示使用了哪个模型进行推理。有了这两个重要的元数据信息，就可以通过SQL语法在所有S3对象中查找Bedrock产生的推理结果。

视频还展示了一个相对复杂的流程。第一部分是用户上传图像(也可以是视频、PDF或其他输入)，通过亚马逊云科技的Rekognition服务进行视觉处理，提取有用信息并存放在S3表中。第二部分是将用户上传时带的元数据存放到S3 Metadata Manager中。最后，您可以通过查询工具连接这两张表，一起查询所有有价值的信息。

虽然由于时间原因，视频中没有展示这个演示的代码，但所有内容和代码都已经发布在亚马逊云科技的博客上，观众可以扫描二维码查看详情。

最后，视频提到了制药行业长期合作伙伴罗氏公司的使用案例。罗氏需要处理大量非结构化文档，通过使用S3 Metadata Manager大大提高了处理非结构化PDF文档的效率。

总之，S3 Metadata Manager通过自动生成和管理元数据，并提供SQL查询功能，帮助客户高效发现和利用S3上的数据资产，解决了数据管理的痛点。无论是长期积累的海量数据，还是AI平台产生的推理结果和元数据，亦或是需要处理大量非结构化文档，S3 Metadata Manager都可以为企业带来巨大价值，提升数据资产的利用效率。

下面是一些演讲现场的精彩瞬间：

它能够自动生成元数据并通过SQL查询检索整个数据集，为用户提供了一种高效自动化的信息解锁方式。

总结

亚马逊云科技推出了新的S3元数据管理服务，旨在帮助客户高效管理和检索S3上的海量数据资产。这项服务通过自动提取S3对象的元数据，并将其存储在托管的Iceberg表格中，使用户能够使用熟悉的SQL语法轻松查询和检索所需信息。

S3元数据管理服务解决了数据量不断增长带来的挑战，特别是对于非结构化数据的管理。它提供了三类元数据:S3系统元数据、对象标签和用户自定义元数据，涵盖了21个关键字段。通过对这些元数据的查询和分析，用户可以快速发现所需的数据资产，提高数据利用效率。

该服务还提供了细粒度的权限管控，确保数据安全。用户可以根据需求授予不同角色对元数据表的查询或修改权限。总的来说，S3元数据管理服务为客户提供了一种自动化、高效且安全的方式来解锁S3数据的价值，满足了企业对数据资产管理的迫切需求。

亚马逊云科技通过不断创新，致力于为客户提供更好的云服务体验。S3元数据管理服务就是其中的一个重要里程碑，展现了亚马逊云科技在数据管理领域的领先地位和持续投入。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。