关键字: [SageMaker, Fine-Tuning Language Models, Multi-Lingual Adapters, Model Hosting, Inference Optimization, Cost Reduction]

本文字数: 400, 阅读完需: 2 分钟

导读

在这场演讲中,Rupinder探讨了如何利用适配器在亚马逊云科技 SageMaker 上高效微调和托管数以千计的大型语言模型,如 LLaMA 和 Mistral。他阐释道,适配器技术允许在不重新训练整个基础模型的情况下,为其添加新的功能,例如理解不同语言,从而极大缩短训练时间并降低成本。该演讲重点介绍了 SageMaker 如何实现高效托管具有适配器的多个模型、根据输入提示动态加载推理期间的适配器,以及跨 GPU 实例优化负载均衡以最小化延迟。

演讲精华

在Amazon Web Services AI基础设施创新日的现场直播中,Rupinder通过生动的演示和解说,为观众揭开了亚马逊云科技在大规模托管生成式AI模型方面的创新之路。他首先展示了如何使用LLaMA和Mistral等基础模型,并动态加载西班牙语、俄语和法语等适配器,让模型理解和生成这些语言的内容。

Rupinder强调,相比从头训练新模型,微调适配器只需数小时,而非数天或数周的时间,这将极大地节省训练成本。他生动形象地比喻,过去每种语言就像一个专门的扳手,需要单独的空间和资源来运行。而微调适配器的概念则是,使用一个基础的扳手头,然后根据需要装配不同的头部,完成不同的任务。

为了量化传统方法和微调适配器方法的差异,Rupinder举了一个例子。如果使用Amazon EC2 G5 12xlarge实例托管这6个模型(LLaMA、Mistral,以及它们的4个语言适配器),平均每月将花费约700美元。但使用微调适配器方法,每月成本仅为100美元左右,节省了85%的费用。

Rupinder解释说,SageMaker提供了预构建的Docker容器,包含所需的库和配置,用于管理适配器的加载、GPU内存分配等。开发者只需简单配置即可部署这种多适配器模型。他向观众展示了相关的代码结构,解释了如何指定基础模型、加载适配器、设置GPU加速器数量等细节。

“以前的做法是,适配器和基础模型是固定绑定的,就像把扳手头固定在扳手柄上一样,这种做法并不高效。”我们现在的创新之处在于,可以在运行时动态选择适配器,而且延迟损失很小。“Rupinder说。

他进一步分享了一些客户案例,解释了为什么需要这种动态加载适配器的能力。Rupinder表示,有些客户需要对整本书进行摘要,这种长文本的上下文需要更大的GPU内存来处理。而动态加载适配器的方式,可以根据任务需求灵活分配GPU资源,提高效率。

在部署方面,SageMaker还提供了自动扩缩容和负载均衡能力。Rupinder说:“我们让客户指定初始实例数量和最大实例数量。有一个很有意思的设置,叫做’最小outstanding requests’,它可以根据实例的负载情况,将请求路由到较空闲的实例上,平均可以提高20%的推理效率。”

他解释说,如果有一个较大的文本摘要任务和一个简单的文本生成任务同时到达,传统的轮询方式会导致资源浪费。而SageMaker则会根据实际负载情况,将请求分配给较空闲的实例,从而优化资源利用率,提高效率。

在现场,一位观众提出了一个有趣的问题:是否需要为每种语言部署一个单独的代理,还是只有一个代理来解释给定的提示?Rupinder解释说,他当前演示的是适配器与基础模型的集成,而对话代理则是在此基础上的一层扩展。代理的核心组件就是基础模型或适配器模型,代理的作用是根据提示内容,判断应该调用哪个适配器模型。他表示,未来将会有更深入的会议,专门探讨代理技术的细节。

总的来说,亚马逊云科技的这项创新大大简化了为各种语言和任务微调和部署大规模生成式AI模型的流程,极大提高了效率和降低了成本。Rupinder最后分享了相关的GitHub资源链接,供开发者学习和使用这项技术。从他的演示中,观众可以看到亚马逊云科技正在为生成式AI的大规模应用做好充分准备,通过微调适配器的创新方案,企业和开发者将能够以更低的成本和更高的效率,为不同的语言和场景部署定制的AI模型,推动人工智能技术的发展和应用。

总结

在这个富有洞见力的演讲中,来自 SageMaker 和 Bedrock 团队的机器学习工程师 Rupinder 深入探讨了大规模微调和托管数千个大型语言模型的复杂性。他介绍了适配器(adapters)的概念,这是一种可以动态加载到基础模型上的轻量级模型,使其能够理解和生成多种语言的内容,而无需从头重新训练整个模型。

Rupinder 演示了如何通过附加预训练的适配器,使 LLaMA 和 Mistral 模型能够理解和生成西班牙语、法语和俄语等语言的文本。与为每种语言训练单独模型相比,这种方法大大降低了微调所需的计算成本和时间。他进一步强调了 SageMaker 中的工程创新,允许高效加载适配器、管理 GPU 内存以及基于未完成请求进行负载均衡,从而将推理时间缩短了 20%。

Rupinder 强调了这种方法的经济效益,估计在 G5 12x large 实例上托管多个模型的成本从 700 美元降至 100 美元。他还分享了在 SageMaker 上设置和部署这些基于适配器的模型所需的配置和代码结构,使其更容易被更广泛的受众接受。总的来说,他的演讲强调了微调和基于适配器的模型在解锁大规模多语种能力的同时,优化计算资源和成本的潜力。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。