阿里云PAI推出模型权重服务,大幅提升大语言模型部署效率。针对700GB+规模LLM加载耗时问题,该服务采用分布式缓存、RDMA传输、智能预取等技术,实现冷启动和扩容时间显著降低。实测显示,Qwen3-8B模型冷启动时间从235秒降至24秒(降幅89.8%),扩容时长缩至5.7秒(降幅97.6%)。该方案通过内存共享、智能分片等创新,使带宽利用率提升60%+,集群部署效率提升10倍,有效破解超大规模模型部署瓶颈。
注册时间:2021-07-28