作者:Jianhua Li、Yun Xing、Girisha De Silva、Ryan Flint、Kai Yuan、Sean Suchter
对GPU加速机器学习推理日益增长的需求,暴露了集中式GPU基础设施的局限性,包括高成本、弹性有限以及在资源受限情况下等待时间长。与此同时,基于Apple Silicon的现代macOS设备配备了强大的GPU,而这些GPU在日常使用中大部分时间处于闲置状态。本文提出了Minions,一种动态分布式虚拟GPU云,它聚合了macOS设备上闲置的Apple Silicon GPU,以执行大规模机器学习推理工作负载。Minions使团队能够利用现有硬件,而无需额外采购GPU。该系统提供灵活的GPU推理任务执行、容错能力和高效的资源利用。我们的经验表明,在集中式GPU资源受限的环境中,闲置的macOS设备可以被转化为一个实用的分布式GPU推理平台。
转载声明:本文为转载整理,原文版权归原作者及原站点所有。
原文来源:Apple ML Research
原创地址:https://machinelearning.apple.com/research/distributed-gpu-cloud
原文作者:Apple ML Research;如有侵权,请联系管理员删除。