关键字: [亚马逊云科技中国峰会2024, FSx for Lustre, 高性能存储, Hpc工作负载, Ai机器学习, 数据吞吐能力, 存储扩展性]

本文字数: 1900, 阅读完需: 10 分钟

导读

在”利用亚马逊云科技高性能存储加速HPC和AI、ML工作负载”的演讲中,演讲者王大伟介绍了亚马逊云科技的两种高性能存储解决方案:FSx for Lustre和S3 Express One Zone,用于加速HPC和AI/ML工作负载。他解释了FSx for Lustre如何通过水平扩展存储服务器来线性扩展存储带宽,并支持与S3的无缝集成;S3 Express One Zone则提供了个位数毫秒级的低延迟、百万级每分钟请求数和十倍于标准S3的性能提升。演讲重点阐述了这两种存储解决方案如何实现高性能、可扩展性和与计算实例的弹性匹配,从而加速HPC和AI/ML工作负载,并分享了壳牌和Netflix等客户案例。最后,演讲者对于不同场景选择FSx for Lustre还是S3 Express One Zone给出了建议。

演讲精华

以下是小编为您整理的本次演讲的精华，共1600字，阅读时间大约是8分钟。

在当今时代,高性能计算(HPC)和人工智能/机器学习(AI/ML)工作负载的需求与日俱增。这些工作负载对计算资源的需求极为庞大,需要成千上万的CPU或GPU核心同时运行,并且在完成任务后又需要迅速释放资源。演讲者指出,当计算实例从10个扩展到100个、1000个甚至10000个时,对存储的吞吐能力需求也会与日俱增。理想情况下,存储的吞吐能力应当与计算实力保持线性扩展关系,但现实中存储往往成为HPC和AI/ML工作负载的瓶颈之一。

为解决这一问题,亚马逊云科技提供了两种主要的高性能存储解决方案:Amazon FSx for Lustre和Amazon S3。Amazon FSx for Lustre是一款并行的高性能共享文件系统,主要面向文件接口。它采用独特的架构设计,由多个存储服务器组成,每个服务器都提供独立的网络、缓存、存储和磁盘介质资源。当客户端访问数据集时,数据会几乎均匀地分布在各个存储服务器上,从而实现资源和带宽的弹性扩展。通过横向扩展存储服务器,FSx for Lustre能够线性扩展存储空间、带宽和IOPS。根据不同的存储服务器规格,单个文件系统的吞吐量可达数百GB/s,IOPS可达数百万级。

FSx for Lustre还具有按需调整吞吐量的特性。以一个地震数据处理案例为例,整个流程分为13个阶段,前三个阶段是I/O密集型,需要高带宽,而后续阶段则偏向CPU/GPU计算密集型。在这种情况下,FSx for Lustre可以在不移动任何数据的情况下,将带宽从高规格的500MB/s/TB调整到低规格的125MB/s/TB,从而节省成本。

另一个重要特性是FSx for Lustre与S3的无缝集成。由于大部分客户的数据都存储在S3数据湖中,FSx for Lustre能够透明地从S3获取所需数据,也可以将中间结果如检查点(checkpoint)自动上传到S3进行持久化存储,对前端的计算实例完全透明。因此,FSx for Lustre被设计为HPC、机器学习和大数据分析等数据密集型应用的理想文件系统。

一项内部测试显示,在一个Kaggle机器学习任务中,使用FSx for Lustre作为中间层访问S3数据,相比直接从S3下载数据,第一次运行训练时间减少了67%。如果是第二次运行,由于FSx for Lustre已经缓存了数据,训练时间进一步缩短至83%,展现出其卓越的加速能力。

壳牌(Shell)公司利用EC2集群和FSx for Lustre扩展了其云端计算能力,构建了混合云环境。借助FSx for Lustre,壳牌能够充分利用GPU资源,提高利用率。另一家公司Netflix则利用FSx for Lustre加速了大规模机器学习训练,将原先一周的训练时间缩短到1-2天,整体性能提高3-4倍,几乎消除了GPU的空闲时间。

除了FSx for Lustre,亚马逊云科技还提供了S3对象存储服务。越来越多的客户将数据存储在S3数据湖中,并直接从S3访问数据进行HPC和AI/ML工作负载。之所以将数据存储在S3,一方面是因为S3提供了多种存储类别,可根据数据生命周期优化存储成本;另一方面,亚马逊也在不断开发高性能组件来提升S3的性能,如Monport for S3、Amazon Common Runtime等,后者能将S3的访问速度提高5-6倍。

去年,一家名为TII的公司在亚马逊云上使用4000个Nvidia A100 GPU训练了一个拥有1800亿参数的大型语言模型FileCount。它们的做法是直接从S3下载数据到本地,加载到GPU内存中进行训练,并将检查点保存回S3。

为进一步提升S3的性能,在2022年的reinvent大会上,亚马逊推出了S3 One Zone,这是一种全新的高性能低延迟对象存储。S3 One Zone通过重构S3的每个模块,采用底层语言如Rust、更快的存储介质和校验技术,实现了个位数毫秒级的稳定低延迟、百万级每分钟请求数,相比标准S3,性能提升10倍。

S3 One Zone采用单一可用区架构,将计算和存储资源部署在同一可用区,减少了跨可用区网络延迟。它还支持基于Session Token的快速授权模式,以及分层索引,每个存储桶可支持数十万并发请求,消除了S3 的每个前缀下3500个请求的限制。

一项机器学习训练任务的测试对比显示,在标准S3上,由于GPU出现I/O等待,利用率会出现波峰波谷;而在S3 One Zone上,GPU利用率保持在稳定的高水平,整体训练时间从15天缩短到14天,节省了大量GPU资源。

S3 One Zone主要面向对延迟敏感的交互式应用、快速数据注入、虚拟数据渲染、机器学习训练、快速数据处理等场景。

那么,对于大模型训练,我们应该选择FSx for Lustre还是S3 One Zone呢?从成本上看,FSx for Lustre按TB收费,而S3 One Zone则与标准S3一样,按存储容量和API调用收费。从功能上看,FSx for Lustre提供完整的POSIX语义实现,而S3 One Zone有两种使用方式:传统的下载到本地,或使用Monport for S3将S3 Bucket映射到本地目录,但后者不是完整的POSIX实现,可能会出现一些应用程序报错。

从带宽和延迟角度比较,FSx for Lustre提供亚毫秒级延迟和数百GB/s带宽,适合分布式大规模训练数据集(TB/PB级);而S3 One Zone延迟小于10毫秒,带宽略低于FSx for Lustre,更适合单机模型开发调试、小规模训练数据集(GB级)以及对存储成本敏感的大语言模型训练。具体来说,FSx for Lustre分为四个存储服务器规格等级,分别是125MB/s/TB、250MB/s/TB、500MB/s/TB和1000MB/s/TB,存储空间和带宽能够线性扩展。例如,1000MB/s/TB等级在10TB时基线吞吐量为10GB/s,扩展到100TB时吞吐量为100GB/s,再扩展到1000TB时吞吐量为1000GB/s。

从易用性角度看,FSx for Lustre直接提供POSIX文件操作接口,而S3需要先下载数据或使用流式读取方式。不过,S3在多账号权限控制方面更具优势,因为客户的数据和计算资源可能分散在不同账号,这时使用S3会更方便。

无论选择哪种存储方案,亚马逊都提供了多种高性能访问S3数据的方式。在SageMaker平台上,可以使用FastFile模式进行流式读取;在EC2或EKS环境中,可使用Monport for S3;如果希望保持训练代码的高可移植性,可使用S3 Connector for PyTorch直接从代码中访问S3数据。

总的来说,亚马逊云科技为HPC和AI/ML工作负载提供了FSx for Lustre和S3 One Zone两种高性能存储解决方案,客户可根据不同的性能、成本和易用性需求进行选择。通过利用云存储的优势,客户能够充分发挥计算资源的能力,加速工作负载的执行,为创新注入新的动力。

下面是一些演讲现场的精彩瞬间：

演讲者幽默地表示希望在演讲结束后有抽奖环节,以增加现场气氛的活跃度。

亚马逊云科技为高性能计算和大模型训练提供了  弹性和线性扩展的计算与存储能力,解决了存储瓶颈问题。

亚马逊云科技FSx for Lustre文件系统具有高度可扩展性,单个文件系统的吞吐能力可达数百GB/秒,数百万IOPS。

亚马逊云科技中国峰会2024:针对复杂HPC工作负载,采用灵活调整存储带宽的方式,优化成本和性能。

亚马逊云科技中国峰会2024上,演讲者解释了Amazon FSx for Lustre与Amazon S3的无缝集成,实现了数据在两者之间透明、双向传输,为客户提供了便利。

通过使用 FSx for Lustre，亚马逊云科技大幅优化了机器学习训练的性能，将训练时间缩短了67%。

总结

亚马逊云科技高性能存储为 HPC 和 AI/ML 工作负载提供了强大的加速能力。FSx for Lustre 是一款并行高性能文件系统,具有线性可扩展的吞吐量和存储容量,能够消除存储瓶颈。它与 S3 无缝集成,可透明地从 S3 获取数据,并将检查点持久化到 S3。另一方面,S3 Express One Zone 是一种新的高性能低延迟对象存储服务,相较于标准 S3 提供了十倍的性能提升,适用于延迟敏感的交互式应用、快速数据注入、虚拟数据渲染、机器学习等场景。

在选择 FSx for Lustre 还是 S3 Express One Zone 时,需要根据成本、功能、带宽和延迟需求以及使用场景进行权衡。FSx for Lustre 更适合大规模分布式训练和 TB 或 PB 级数据集,提供完整的 POSIX 接口;而 S3 Express One Zone 则更适合单机模型开发、小规模集群训练和大语言模型等场景,具有多账号权限控制和数据共享的优势。使用 S3 训练模型可采用传统下载到本地的方式,或使用流式方式如 SageMaker Fast File Mode、Mount Point for S3 等,以保持代码可移植性。

总之,亚马逊云科技的高性能存储解决方案为 HPC 和 AI/ML 工作负载提供了卓越的性能和灵活性,帮助客户加速工作负载、优化成本并提高效率。

2024 年 5 月 29 日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。