ITPub博客

基于 EMR Serverless Ray 实现 Qwen 模型批量推理实践

原创 人工智能 作者:阿里云大数据AI技术 时间:2026-08-21 18:13:20 0 编辑
摘要

本文介绍如何在阿里云 EMR Serverless Ray 集群上,使用 Ray Serve LLM 部署 Qwen3.5 系列模型,并通过 Ray Data 的 ai_query API 实现集群内高吞吐批量推理。其他自建模型可按同样的方式提供模型服务。

请登录后发表评论 登录
全部评论

注册时间:2021-07-28

  • 博文量
    744
  • 访问量
    2554721

阿里云大数据AI技术