关键字: [ 亚马逊云科技中国峰会2024, Amazon FSx for Lustre, 云存储服务, 数据湖构建, 机器学习训练, 文件存储迁移, 高性能计算]

本文字数: 2400, 阅读完需: 12 分钟

导读

在这场演讲中, 亚马逊云科技的存储产品经理陈彦云介绍了亚马逊云科技的存储服务家族, 以及如何利用这些存储服务高效敏捷地构建创新应用。他解释了亚马逊云科技提供了块存储、文件存储和对象存储等多种存储服务, 可满足不同业务场景的需求; 并分享了多个客户案例, 展示了存储服务如何帮助客户实现业务创新、提高效率和节约成本。他还重点介绍了如何利用S3 对象存储和FSx for Lustre 文件存储的组合, 为机器学习训练任务提供高性能、高带宽和低成本的存储解决方案。

演讲精华

以下是小编为您整理的本次演讲的精华，共2100 字，阅读时间大约是10 分钟。

亚马逊云科技的存储服务家族由基础的快存储服务、文件存储服务和对象存储服务三件套构成。快存储服务即Amazon Elastic Block Store(EBS) 块存储。文件存储服务则由Amazon FSx 家族提供, 包括FSx for Lustre 、FSx for OpenZFS 、FSx for NetApp ONTAP 和FSx for Windows File Server 等。对象存储服务则以Amazon Simple Storage Service(S3) 为代表, 可以说是开创了整个公有云时代的第一款产品, 发布于2006 年。

除此之外, 亚马逊云科技还提供了数据传输和数据保护等辅助服务。数据传输服务包括Amazon Transfer Family 、Amazon DataSync 和Amazon Storage Gateway 等, 用于将本地数据迁移至云端或在云上不同部门间共享数据。数据保护服务则有Amazon Backup 、Amazon Resilience Hub 灾备服务以及快照服务等, 让客户可以定期对重要数据备份, 并在出现误删除、数据中心故障或病毒攻击等情况时恢复数据。

通过这一系列完整的存储服务, 亚马逊云科技能够驱动客户的数据分析、机器学习训练、高性能计算等数据业务, 覆盖文件共享、数据湖、新药研发、基因测序、地震能源数据分析等多个行业领域。

在线下, 客户有两大类基于存储区域网络(SAN) 构建的企业关键业务系统, 越来越多客户将这些系统迁移至亚马逊云科技的托管架构中。这些关键业务主要包括交易型数据库服务和虚拟机工作负载两类。

以SQL Server 为例, 客户迁移至云上可选择完全托管的Amazon Web Services RDS for SQL Server 服务, 无需管理底层硬件; 也可自行管理数据库, 用EC2+EBS 构建单独数据库, 或用EC2+EBS/FSx for Windows/FSx for NetApp ONTAP 构建Always On Failover Cluster, 后者利用FSx 的存储复制功能, 使用SQL Server 标准版License 就能实现高可用, 节省大量成本; 如需双活的Always On Availability Group 架构, 则可使用SQL Server 原生复制功能。

另一常见的是ERP 系统, 如SAP HANA 。越来越多客户将SAP 系统迁移至云上, 亚马逊云科技也有多种存储服务适合构建SAP HANA 环境。如果客户之前使用NetApp 存储, 可在云上直接使用与之功能一致的Amazon FSx for NetApp ONTAP, 保留熟悉的存储管理方式, 并利用快照、克隆等功能快速生成测试、分析环境, 而不影响生产环境性能。如果客户线下使用的是其他存储, 在云上也可直接使用EBS 等块存储服务构建SAP HANA 环境。

虚拟机工作负载是另一大类应用。很多客户使用VMware 虚拟化, 在亚马逊云科技上可使用VMware Cloud on 亚马逊云科技服务部署VMware 虚拟机环境。随着业务扩展, 客户经常需要扩容, 但扩展时可能只需增加存储能力而非计算能力。这种情况下, 客户可采用存算分离架构, 在云上使用VMware Cloud on 亚马逊云科技, 同时将底层存储使用Amazon FSx for NetApp ONTAP, 实现存储和计算分离。

FSx for NetApp ONTAP 在云上保留了NetApp ONTAP 的全部功能, 包括高性能、快照、克隆等, 性能可与本地环境一致。它还具有自动分层功能, 将性能层和容量层自动分层, 容量层可无限扩展, 免去了客户手动扩容的麻烦。

澳大利亚西南维尔市州卫生局过去基于NetApp 存储构建了一个庞大的医疗影像系统, 每年数据增长20%-30%, 需要频繁扩容采购硬件。后来它将系统迁移到了云上的FSx for NetApp ONTAP, 保留了原有的存储管理方式和商用软件认证, 无需重新培训员工, 并利用云存储的自动分层和扩展能力, 解决了扩容难题。在迁移过程中, 它使用了NetApp 的SnapMirror 功能快速完成了数据迁移。

文件存储是另一大类常见的存储类型。亚马逊云科技在所有云厂商中, 提供的文件存储种类最丰富, 专门为客户构建了一系列文件存储服务, 包括FSx for Lustre 、FSx for OpenZFS 、FSx for NetApp ONTAP 、FSx for Windows File Server 等, 能够满足客户使用NetApp 、OpenZFS 、Windows 文件服务器等不同文件存储系统的需求。

如果客户将基于这些文件存储系统构建的业务迁移到云上, 他们可能需要一套与之前一模一样的存储系统, 方便管理, 并且能够与原有的商用软件保持兼容, 无需重新认证。亚马逊云科技的文件存储服务家族就是为此而生, 客户可以在云上无需改造, 直接运行原有的基于文件存储的业务。

这些文件存储服务都是完全托管的, 客户无需自行部署和维护存储集群。以FSx for Lustre 为例, 如果客户在本地环境中自行部署Lustre 文件系统, 需要购买服务器、存储、网络设备, 并雇佣Lustre 专家, 部署和调优过程耗时耗力。而在云上, 客户只需几分钟就能启用一套高性能、高可用的FSx for Lustre 文件系统, 包括后续扩容、选择不同性能等级等操作也非常便捷。

对象存储S3 是亚马逊云科技可以说是公有云的第一款产品, 发布于2006 年, 开创了整个公有云时代。现在S3 上已经运行了数以万计的数据湖应用。S3 具有非常强的可扩展性和丰富的性能, 并针对不同数据访问温度, 提供了业界最丰富的存储等级, 包括标准层、非频繁访问层、即时访问归档层和深度归档层等, 能够最大程度匹配数据访问模式, 实现高性价比。

S3 还提供了智能分层功能。如果客户对数据访问温度了解不深, 可以将数据直接放入智能分层存储,S3 会根据数据访问情况自动将其由高温存储层下沉至低温层, 节约存储成本。比如数据存在频繁访问层, 过了30 天不访问自动放到非频繁访问层, 过了60 天不访问就放到即时访问归档层, 如果过了6 个月都不访问, 可以放到更深度归档层。

Zoom 就利用了S3 的智能分层功能构建了云上视频回放系统。Zoom 的视频数据量增长迅速, 且需要及时访问, 因此需要在性能和成本之间权衡。它将视频数据存储在S3 的智能分层中, 新增视频先放在标准层, 随着时间推移自动下沉至非频繁访问层和即时访问归档层, 实现了40% 以上的成本节约。

在机器学习和人工智能领域, 数据是训练模型的重要组成部分, 无论是传统的行业模型还是现在的大语言模型, 都需要大量数据支撑。在模型训练的整个数据流程中, 从数据准备、数据集构建, 到模型训练、模型部署和推理等, 亚马逊云科技的存储服务都能满足不同阶段的存储需求。

在数据准备阶段, 客户可能需要对数据进行清洗、分类、格式转换、压缩等, 这些原始数据集可能达到几百TB 乃至几十PB 的规模, 非常适合存储在可扩展性强的S3 中。

在模型训练阶段, 如果只使用S3 可能会出现训练数据的带宽瓶颈, 从而导致GPU 等计算资源空转浪费。因此, 亚马逊云科技推荐将S3 与FSx for Lustre 文件系统结合使用。客户可以将数据存储在低成本的S3, 然后生成一个相对较小的FSx for Lustre 文件系统, 利用其高带宽特性将所需训练数据缓存到FSx for Lustre 中, 从而为GPU 等计算资源提供高速数据访问能力。比如客户有500TB 的原始训练数据, 一次训练任务可能只需50TB 或100TB, 此时可在S3 上存储500TB 数据, 生成50TB 的FSx for Lustre 文件系统, 将所需数据缓存到FSx for Lustre 中, 利用其每秒数十GB 甚至数百GB 的高带宽为GPU 提供数据支持, 避免GPU 空转浪费。

FSx for Lustre 还提供了标准的POSIX 文件接口, 与主流开源框架和商用软件兼容, 客户无需对已有应用进行改造。通过这种S3+FSx for Lustre 的混合云存储架构, 客户能以低成本存储大规模数据集, 同时获得高性能的数据访问能力, 加速分布式机器学习训练任务。

Netflix 就是一个典型案例。它需要通过机器学习模型自动生成视频的预览、剪辑和缩略图等。在采用FSx for Lustre 之前,Netflix 发现有40% 的GPU 时间被浪费在等待数据上, 而GPU 是机器学习训练中最贵的资源, 占成本的80% 。采用FSx for Lustre 后,Netflix 的GPU 利用率大幅提升, 训练时间从一周缩短至1-2 天, 显著提高了训练效率和资源利用率。

另一个案例是Salesforce IoT Cloud 。它利用Amazon EBS 的io2 Block Express 卷构建了MongoDB 数据库, 为Salesforce IoT Cloud 提供高性能、低延迟的数据访问能力。 通过机器学习模型对数据进行分析和预测,Salesforce IoT Cloud 能够为每个终端用户提供个性化的体验, 如根据用户习惯自动推荐感兴趣的产品和商机信息。

通过以上案例可以看出, 亚马逊云科技的存储服务家族覆盖了块存储、文件存储、对象存储等多种存储类型, 并提供了数据传输、保护、分层等辅助服务, 构建了一套完整的云存储解决方案。客户可以根据不同业务场景, 灵活选择合适的存储服务, 高效敏捷地在云上构建创新应用, 释放数据价值, 推动业务创新。

自2006 年S3 问世以来, 亚马逊云科技一直保持”Day One” 的心态, 根据客户需求不断推出新产品、新功能, 与客户一起成长。未来, 亚马逊云科技的存储服务家族必将持续演进, 为客户带来更多存储创新, 助力各行业的数字化转型。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技中国峰会2024 演讲强调, 对于客户业务而言, 数据是最宝贵的资产, 尤其是在生成式人工智能等新兴技术领域。

亚马逊云科技通过 MongoDB 和 Amazon EBS io1 Block Express 为 Salesforce 构建了机器学习架构, 为每位用户提供个性化体验, 快速预测最相关信息。

亚马逊云科技为客户提供完全托管的高性能文件存储系统, 可在几分钟内启用, 并支持高可用性和弹性扩展, 极大提高了效率。

Zoom 利用 S3 的智能分层和即时访问存档功能, 实现了 40% 以上的成本节约。

亚马逊云科技中国峰会2024 上, 一位客户分享了他们在使用亚马逊 ElasticSearch 服务时遇到的挑战和解决方案, 引发了与会者的共鸣。

亚马逊云科技中国峰会2024 上, 演讲者详细解释了弹性吞吐模式和预置吞吐模式的使用场景和成本考量。

亚马逊云科技中国峰会2024: 解释了数据处理周期和异常情况下的应对措施, 以确保数据质量和系统稳定性。

总结

亚马逊云科技的存储服务旨在帮助客户高效敏捷地构建创新应用。亚马逊云科技提供了一系列存储服务, 包括块存储、文件存储和对象存储, 满足不同业务需求。这些服务具有高可扩展性、高性能和多种存储等级, 能够实现数据驱动业务创新, 如数据分析、机器学习、高性能计算等。

亚马逊云科技持续保持”Day One” 心态, 根据客户需求不断推出新产品和功能。通过云存储服务, 客户可以无缝迁移现有业务到云端, 提高业务弹性和灵活性, 降低运维成本。同时, 亚马逊云科技的存储服务为机器学习和人工智能等创新领域提供了强大的数据支持, 帮助客户加速业务创新。

亚马逊云科技将继续致力于存储服务的创新, 与客户携手共进, 推动云计算和数字化转型, 为客户创造更多价值。

2024 年 5 月 29 日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。