导读

从初创公司到大型企业，各类组织都信赖亚马逊云科技提供全面、安全且性价比高的生成式AI基础设施来进行创新。Amazon SageMaker HyperPod是一种专为大规模基础模型（FM）开发而设计的基础设施。在本次会议中，您将了解领先的AI公司如何制定其基础模型开发策略，并利用SageMaker HyperPod高效构建先进的基础模型。

演讲精华

以下是小编为您整理的本次演讲的精华。

在2024年亚马逊云科技 re:Invent大会上，一场关于基础模型发展和行业领导者如何为客户提供前沿解决方案的精彩小组讨论吸引了与会者的目光。该小组讨论由来自亚马逊云科技 AI组织的高级经理Shibakum Bakone主持，由来自知名公司的专家组成，每位专家都为各自的领域贡献了宝贵见解。

致力于推广良好机器学习的Hugging Face公司产品主管Jeff Budy上台阐述了他们的使命和开放科学在其中所扮演的关键角色。Hugging Face坚定不移地致力于开源、社区驱动的倡议和道德原则，这一直是推动他们事业发展的动力。Budy介绍了Hugging Face Hub平台，该平台托管了超过100万个模型，使个人和组织能够探索、评估并构建自己的AI解决方案。此外，他强调了Transformers库和Hugging Face提供的一系列工具在文本生成、推理和模型部署方面的变革性影响。

Budy的讨论深入探讨了开放科学，这是Hugging Face使命的基石。他们的研究团队一直处于开发能够超越闭源模型性能的基础模型的前沿，弥合了专有解决方案与开源社区可用解决方案之间的性能差距。Budy举例说明，如1750亿参数的多语种大型语言模型Bloom，以及在发布时是代码生成领域最佳开源模型的StarCoder模型系列。最近发布的小型LM模型系列在其规模上也是当时最佳的开源模型。

在阐述开发Bloom过程中所面临的挑战时，Budy回顾了训练如此庞大模型所需的艰苦工程努力。尽管有来自世界各地数千名研究人员的合作，但负责维护训练集群的团队相对较小，由Stas Beckman领导。Budy赞扬了HyperPod的出现，它有效地将Bloom训练过程中遇到的痛点产品化并简化了流程。

WritersWriters这家面向企业的AI平台的联合创始人兼CTO Wassim Alshek分享了他们公司旨在为企业转变工作方式的使命，尤其关注医疗保健和金融服务领域。Alshek强调WritersWriters致力于构建越来越大、越来越复杂的模型，最新的前沿模型Belmar X4目前是市场上最佳的功能调用模型。

Alshek强调，在开发他们最新模型时，HyperPod发挥了关键作用，尤其是在扩展到数百亿参数的模型时。在如此大规模下，硬件的可靠性和稳定性变得至关重要，因为即使一个GPU发生故障也可能导致整个训练任务停滞，可能导致数月的努力付诸东流。HyperPod的自我修复能力和自动节点替换功能在缓解这些风险方面显示出了宝贵的价值。

此外，Alshek强调WritersWriters认为更深层的模型比单纯依赖更大的参数计数更为重要。他们拥有超过500层的模型展现出了比更大模型更出色的性能，这归功于其深度和复杂性。Alshek还认可了开源社区的关键作用，尤其是Hugging Face所促进的贡献，为WritersWriters的创新奠定了基础，包括他们最近宣布的自我进化模型。

专注于构建医学影像领域基础模型和医疗级平台的Hopper公司的联合创始人兼CTO Robert Beckis阐明了他们所在领域面临的独特挑战。医学影像数据通常包括16位高分辨率图像，需要使用具有大量内存容量的大型GPU实例。Beckis强调HyperPod提供的灵活性和可扩展性，使Hopper能够最佳地利用计算基础设施、安装自定义工具和文件系统，并高效地在集群中分发数据。

Hopper的方法是将他们专有的视觉转换器与开源语言模型相结合，构建多模态图像到文本模型。这种创新技术可以识别医学影像中的特征，并生成诸如初步放射学报告、发现清单以及XML格式的分割掩码或边界框表示等输出。

小组讨论随后转向了小组成员所采用的分布式训练技术。Budy阐述了Hugging Face开发Nanotron库的目的是为了促进大规模训练操作。他解释说，训练技术的选择取决于研究团队所从事的具体项目，对GPU数量和训练持续时间有不同的要求。

Alshek分享了WritersWriters使用各种库的经验，包括PyTorch、Nemo、Megatron，以及他们自己的实现，如利用托管KV缓存在转换器层之间的Frugal Transformer。HyperPod提供的灵活性使他们能够无缝集成任何开源库，没有限制，这对于促进开源社区的创新至关重要。

Beckis强调Hopper使用DeepSpeed和PyTorch，并计划为另一个正在开发的模型实现FSDP。他赞赏HyperPod的易用性和能够安装任何所需库的能力，强调在处理如此规模的复杂数据和GPU需求时，拥有完全控制权和优化特定工作流程的能力至关重要。

讨论接着转向了模型推理的挑战以及小组成员采取的应对策略。Beckis强调医学影像领域的独特需求，即单个研究可能包含多个高分辨率图像。为了解决这一问题，Hopper目前正在探索将HyperPod作为一种可扩展的方法，一次同时对多于两个图像进行推理，可能支持多达十个图像。

Alshek表达了WritersWriters对即将与Amazon Elastic Kubernetes Service (EKS)集成的兴奋，这将彻底改变他们的可扩展模型服务方式。以前，在Kubernetes集群上运行大型模型存在着巨大挑战，尤其是在扩展和GPU利用率方面。HyperPod与EKS的协同作用，将Kubernetes的网络和隔离能力与HyperPod的GPU管理能力相结合，为WritersWriters提供了一个无缝且期待已久的解决方案。

Budy阐述了Hugging Face在推理方面的方法，强调让客户能够在自己的基础设施中部署模型的重要性。这种分散的方法对于确保AI体验不被少数公司控制至关重要，否则可能会引发关于数据隐私、客户体验一致性以及过度依赖第三方提供商的潜在问题。

Hugging Face的深度学习容器和最近在亚马逊云科技市场上推出的Hugs (Hugging Face Generic Services)服务提供了流行开源AI模型的优化、开箱即用的部署，允许客户在自己的亚马逊云科技租户中托管模型。Budy强调，当研究团队的训练工作负载未完全利用可用资源时，HyperPod可以动态地将集群容量分配给生产基础设施。

小组成员一致认可与亚马逊云科技的合作关系在加速他们各自的使命和巩固市场地位方面发挥了关键作用。Budy赞赏与亚马逊云科技的协同合作，这促进了通过将Hugging Face模型与亚马逊云科技的定制AI加速器(如Inferentia和最近推出的Trainium 2)相集成，从而实现了经济高效的模型部署。

Alshek对亚马逊云科技团队提供的全面支持和培训表示感谢，这对于确保有效利用和实施HyperPod等服务至关重要。他强调这种合作关系的重要性，不仅仅是产品文档，而是亚马逊云科技积极与客户合作、解决具体挑战并提供量身定制的指导，无论客户的规模如何。

Beckis也表达了类似的观点，称与亚马逊云科技的合作关系是Hopper取得成就的推动力。从利用Snowball设备进行数据摄取和使用S3进行存储，到通过Spark作业识别大规模数据并将其移动到计算集群，亚马逊云科技服务的端到端集成使Hopper能够凭借相对较小的工程团队取得了卓越的成就。Beckis赞赏了技术支持、战略合作以及提供反馈的机会，这有助于他们所依赖的服务不断迭代改进。

总而言之，亚马逊云科技 re:Invent 2024大会为行业领导者提供了一个平台，分享他们在基础模型开发领域的经验、挑战和创新方法。小组讨论强调了亚马逊云科技的SageMaker HyperPod服务在实现前所未有的大规模分布式训练方面发挥的关键作用，同时提供了弹性、灵活性和优化的性能。亚马逊云科技与Hugging Face、WritersWriters和Hopper等公司的协同合作，培育了一个创新生态系统，使组织能够推动人工智能领域的发展。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。