导读

了解如何利用亚马逊云科技 AI/ML和计算技术处理本地数据。通过Amazon S3 File Gateway，您可以将本地NFS或SMB文件数据中的对象上传到Amazon S3，并使用亚马逊云科技计算资源进行数据处理。观看使用S3 File Gateway从本地环境到Amazon S3的端到端数据工作流演示。参与者将通过本次会议了解S3 File Gateway如何作为现代化数据基础设施的基础，并从本地数据投资中释放新的价值。学习最佳实践和常见用例，帮助您快速入门。

演讲精华

以下是小编为您整理的本次演讲的精华。

在云计算的动态领域中，企业越来越多地采用混合云环境，以利用本地和云资源的优势。然而，这种转变带来了诸多挑战，客户需要努力将现有的本地应用程序、数据库和系统与云的可扩展性和敏捷性相结合。Amazon Storage Gateway应运而生，成为连接这两个领域的关键解决方案，实现与Amazon S3的无缝数据工作流。

Amazon Storage Gateway是一项独特的服务，客户可以在其数据中心内部署，不受亚马逊云科技区域的限制。这种战略部署使其成为客户云计算之旅的首选服务，为平稳过渡奠定基础。该服务充当管道，促进数据从本地环境传输到云端，同时提供对文件的本地访问，并利用云管理、计算能力、安全性、合规性、监控和高级分析引擎。

客户采用混合云模型的动机多种多样，可能是出于性能需求、安全考虑或合规性要求。认识到这些不同需求，许多企业选择混合云存储解决方案，使本地应用程序可以随时访问云中的数据。一旦客户确定了数据的最佳存储位置，下一个合乎逻辑的步骤就是促进将该数据传输到亚马逊云科技并建立高效的访问机制。

亚马逊云科技提供了一套全面的服务来解决这些数据传输和访问挑战。对于在线数据传输，亚马逊云科技 Data Sync提供了一种快速、简单和安全的方式，将数据从本地或其他云环境迁移到亚马逊云科技。客户还可以利用Data Sync进行数据复制，用于灾难恢复或存档冷数据。Amazon Transfer Family是一种用于通过SFTP等协议传输文件的托管服务，使客户能够安全地在外部第三方组织或业务单位之间移动数据。

对于寻求混合访问的客户，他们的部分数据保留在本地，而其余数据则存储在云中，Amazon Storage Gateway成为理想的解决方案。一旦数据成功传输到亚马逊云科技，客户就可以利用数据湖的强大功能，使用机器学习进行高级分析，并进一步处理数据。

Storage Gateway是一个总括术语，包含三种不同类型的网关，每种网关都针对特定的使用场景。S3 File Gateway是最常用的网关类型，可将本机SMB和NFS文件转换为Amazon S3对象。它的主要应用是用作存储数据库备份和存档的目标，以支持数据工作流。对于需要虚拟化物理磁带的客户，Tape Gateway提供了必要的功能。最后，Volume Gateway充当存档存储库，使客户能够存档冷数据，如视频文件，从而降低本地存储成本。

S3 File Gateway使客户能够通过NFS或SMB协议将本地数据上传到S3，从而构建数据湖和数据处理工作流。无缝的文件到对象映射有助于将亚马逊云科技原生服务(如SageMaker或Athena)集成到分析或进一步数据处理中。客户可以使用S3 File Gateway存储来自Oracle、SAP和Microsoft等行业领先供应商的数据库备份，从而获得经济高效的短期和长期数据保留能力，并具有将数据生命周期管理到更低成本存储层的灵活性。此外，S3 File Gateway还可以存档冷数据(如视频文件)，从而显著节省存储成本。

Storage Gateway为客户提供了一种快速便捷的方式，通过标准协议访问云，无需修改现有应用程序。它提供高达64TB的磁盘缓存，针对与S3之间的高效数据传输进行了优化。例如，如果客户需要访问一小时视频中的15秒片段，Storage Gateway可以选择性地只检索所需的片段，从而最小化网络流量并降低出口成本。

确保强大的安全性和合规性是亚马逊云科技的重中之重。Storage Gateway遵守严格的安全和合规性标准，提供经济高效的按需付费定价模式，每月上限为125美元，大部分成本来自弹性S3存储，可以通过利用更低成本的存储层进一步优化。此外，Storage Gateway与其他亚马逊云科技服务无缝集成，用于管理、监控和云内工作负载。

为了说明Storage Gateway的变革性影响，亚马逊云科技高级迁移专家Tuba Goksel分享了一个客户成功案例，涉及Apollo Tires公司。作为一家跨国轮胎制造商，Apollo Tires在全球为消费者和工业客户提供服务，拥有七个分支机构，其中五个位于印度，两个位于欧洲。Apollo Tires急需立即扩展存储空间，但由于本地基础设施分散，加上可扩展性限制和供应链障碍，他们面临着巨大挑战。

认识到需要一个强大的解决方案，Apollo Tires实施了S3 File Gateway作为其混合存储服务，并使用该服务迁移了惊人的160TB数据。结果令人难以置信，Apollo Tires实现了90%的备份成本节省，推动了创新并现代化了制造流程。此外，他们利用了云内计算服务，如EMR进行交互式分析和机器学习，并利用SageMaker构建、训练和部署机器学习模型。

亚马逊云科技高级产品解决方案架构师Ed Laura深入探讨了Storage Gateway的内部工作原理及其在实现数据工作流方面的关键特性。Storage Gateway旨在部署在亚马逊云科技区域之外的客户数据中心或虚拟环境中，靠近应用程序服务器。

网关作为虚拟机部署，具有最低的CPU、RAM要求，并且至少需要两个磁盘:一个用于存储操作系统和元数据的根磁盘，一个用于优化数据传输和性能的数据缓存磁盘。缓存磁盘可扩展至64TB，最佳实践建议使用多个缓存磁盘，即使在同一底层存储上，也可从额外的条带化中获益。

网关位于本地网络上，通过NFS或SMB使用常见协议连接到客户端机器。它优化了与云之间的数据传输，将文件存储为Amazon S3中的单个对象。这种基于对象的存储方法使数据工作流和流程能够直接针对数据执行，同时确保传输和静态数据的安全性。

当文件写入网关时，它会落在本地缓存磁盘上，客户端会收到成功写入的确认。随后，网关会启动一个过程，将数据近乎实时上传到S3(对于小文件)或在较长时间内上传(对于较大文件)，具体取决于带宽和文件大小等因素。

Storage Gateway通过向Amazon EventBridge发送文件上传事件通知，实现了事件驱动的数据工作流。有两种不同的通知类型:单个文件上传通知和工作文件集通知。

每当文件成功上传到S3时，就会触发单个文件上传通知，从而可以基于特定文件启动处理工作流。客户可以通过亚马逊云科技管理控制台在每个文件共享的基础上配置这些通知。

另一方面，工作文件集通知在整个数据集成功上传到S3后发送，允许对整个数据集进行处理。在需要确保所有相关数据完全传输后再开始处理的场景中，这种通知类型尤为关键。客户必须通过API请求此通知，因为它不会自动生成。

Ed Laura分享了一个医疗保健和生命科学领域客户的有见解的示例，该客户利用S3 File Gateway取代远程实验室站点的本地存储系统。这一战略举措使客户能够减少物理占用空间，同时确保数据尽快传输到S3。一旦数据驻留在S3中，客户就构建了一个复杂的数据管理系统，触发事件驱动的工作流进行计算操作，处理数据，并将结果写回S3。

为了促进不同站点之间的协作，客户可以启动第二个网关并将其指向包含已处理数据的同一S3存储桶。这种方法利用了缓存刷新功能，可以自动或通过API驱动，允许网关在创建文件共享时识别并访问S3存储桶中的现有内容。

该客户严重依赖工作文件集通知，以确保仪器生成的整个数据集已成功上传到S3后再启动处理。这一预防措施至关重要，因为这些仪器在单次运行中往往会生成数万甚至数百万个文件，代表无法重新创建的物理DNA链。通过验证整个数据集的传输完整性，客户可以放心地继续进行处理和计算操作，确保没有遗漏任何数据。

构建基于S3文件网关的数据工作流程的客户可以利用广泛的亚马逊云科技服务，包括用于事件驱动架构的Amazon EventBridge、用于排队的SQS、用于构建工作流程的Step Functions、用于通知的SNS、用于计算操作的EC2、Lambda和Amazon Batch，以及用于可视化的QuickSight、用于查询的Athena、用于数据仓库的Redshift和用于数据集成的Amazon Glue等分析服务。

此外，客户越来越多地利用诸如SageMaker用于机器学习模型构建和训练、Amazon Bedrock用于基础模型以及Amazon Q用于通过生成式AI从非结构化数据中获取见解等较新服务。

为了演示存储网关在事件驱动架构中的强大功能，亚马逊云科技高级解决方案架构师Si Hopkins进行了现场演示。该架构包括Active Directory、用于远程访问的Windows主机、部署在EC2实例上并注册到存储网关服务的S3文件网关、由S3存储桶支持的SMB共享，以及一系列Lambda函数、EventBridge通知、Step Functions和其他组件。

演示展示了将一组文件上传到Windows主机上映射的E驱动器的过程，该驱动器与SMB共享相链接。随着文件的上传，单个文件上传事件被发送到EventBridge，触发Lambda函数从存储网关服务请求工作文件集通知。

一旦所有文件成功上传到S3存储桶，工作文件集通知就会触发Step Function状态机。然后，Lambda函数根据文件扩展名和对象级元数据对S3存储桶中的文件进行排序。排序过程完成后，通过直接消息向Amazon Chime组发送通知，展示了存储网关与其他亚马逊云科技服务的集成。

演示突出了关键特性，如文件上传事件通知、工作文件集通知、利用EventBridge、Step Functions、Lambda和SNS的事件驱动架构，以及根据文件属性和元数据在S3中对数据进行排序和处理的能力。值得注意的是，演示展示了上传5个具有不同元数据的文件，包括一个单一键值对content type: image/PNG，作为控制组。

Ed Laura进一步阐述了客户越来越多地利用亚马逊云科技人工智能、机器学习和分析服务来释放其本地数据的数据驱动创新的趋势。SageMaker、Amazon Bedrock、Amazon Q、Athena、QuickSight和EMR等服务使客户能够创建与数据交互的新颖、创新和引人入胜的方式，提高生产力，产生见解，创造新内容、新想法和新对话。

客户可以利用Data Sync、Transfer Family和存储网关等一系列亚马逊云科技服务，将数据从本地环境、其他云或外部源迁移到亚马逊云科技。数据通常存储在Amazon S3或Amazon FSx中。一旦进入亚马逊云科技，诸如SageMaker、Bedrock和Q等原生服务就可以直接与这些数据源集成，允许客户利用自定义数据进行检索、增强生成、微调和预训练模型。

总之，该演讲的关键要点强调了亚马逊云科技存储网关在实现混合云数据工作流中的关键作用。客户可以使用S3文件网关的NFS或SMB文件共享将本地文件上传到云端，将数据存储在Amazon S3中。通过构建事件驱动的数据架构，客户可以自动化流程并缩短获得结果的时间，这在医疗保健和生命科学等行业中至关重要。亚马逊云科技存储网关使客户每天可以上传约20TB的数据，具体取决于网络、网关资源以及文件大小和数量等变量。

最终，客户可以利用亚马逊云科技分析、计算、人工智能和机器学习服务从云中的数据中获取业务价值。要开始使用存储网关，客户可以探索大量资源，包括博客、演示、用例和亚马逊云科技产品页面。此外，参加2024年re:Invent相关会议可以深入了解数据迁移、事件驱动架构以及利用亚马逊云科技服务进行数据处理和人工智能/机器学习工作负载。

简而言之，该演讲涵盖了亚马逊云科技存储网关如何实现混合云数据工作流，连接本地和云环境。它强调了该服务的关键特性、用例、客户示例(如Apollo Tires迁移160TB数据并实现90%备份成本节省)以及演示了客户如何利用亚马逊云科技服务进行数据处理、分析和人工智能/机器学习工作负载，方法是使用存储网关将数据迁移到云中。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。