ITPub博客

PAI推理重磅发布模型权重服务,大幅降低冷启动与扩容时长

原创 人工智能 作者:阿里云大数据AI技术 时间:2025-06-20 16:20:59 0 编辑
摘要

阿里云PAI推出模型权重服务,大幅提升大语言模型部署效率。针对700GB+规模LLM加载耗时问题,该服务采用分布式缓存、RDMA传输、智能预取等技术,实现冷启动和扩容时间显著降低。实测显示,Qwen3-8B模型冷启动时间从235秒降至24秒(降幅89.8%),扩容时长缩至5.7秒(降幅97.6%)。该方案通过内存共享、智能分片等创新,使带宽利用率提升60%+,集群部署效率提升10倍,有效破解超大规模模型部署瓶颈。

请登录后发表评论 登录
全部评论

注册时间:2021-07-28

  • 博文量
    744
  • 访问量
    2549882

阿里云大数据AI技术