01 / CONTEXT
GPUWorks 的推理模板已经在 Day 1 已经支持 MiniMax-H3-Image!
部署后,用户可以再试验场可以直接文生图和改图,也可以通过 OpenAI 兼容的
/v1/images
接口调用。
我们按不同的使用门槛准备了 6 个档位,并分别在 RTX 4090、A100 80GB 和 H20-3e 上实测:
MiniMax-H3-Image 是 MiniMax 开源的文生图与参考图编辑模型,建立在 MiniMax-H3 的 DiT 上:
上游由 vLLM-Omni 提供服务,见 vLLM recipe。
MiniMax-H3-Image:不同显卡与档位的出图时间
02 / TEST ENVIRONMENT
我们用三类硬件覆盖从入门到高性能的场景。其中两台是在 GPUWorks 的「公有云」页面直接租的云主机,租好后一键装上 agent,几分钟就作为节点上线:
左右滑动查看完整表格
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
MiniMaxAI/MiniMax-H3-Image
(68.7 GB)加
MiniMaxAI/MiniMax-H3
的
text_encoder
目录(66.7 GB),两者都固定了 revision。
vllm/vllm-omni:minimax-h3-image
,上游随模型发布,包含 vLLM 0.33.0、vLLM-Omni 和
PyTorch 2.14
+ cu130。03 / MODEL TEMPLATE
MiniMax-H3-Image 的仓库里没有文本编码器。它的
model_index.json
写的是「去 Hugging Face 上的
MiniMaxAI/MiniMax-H3
取
text_encoder
」。而 GPUWorks 启动引擎时默认离线(
HF_HUB_OFFLINE=1
),很多节点也连不上
Hugging Face
。所以模板把它拆成两个组件:
|
|
|
|
|---|---|---|
|
|
MiniMaxAI/MiniMax-H3-Image |
/models/MiniMax-H3-Image |
|
|
MiniMaxAI/MiniMax-H3
text_encoder |
/models/MiniMax-H3 |
/tmp
下用软链接拼出一个模型目录,把
model_index.json
里的仓库名换成挂载路径。vLLM-Omni 发现这是本地目录,就直接加载,不再访问 Hub。04 / DEPLOYMENT OPTIONS
档位参数取自 vLLM recipe,再按实测调整了适用的卡型和显存预留:
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
「适用」是模板的匹配条件,实测过的卡型见下文「性能」一节。
部署表单先按卡的架构筛选档位。下图是集群里有 RTX 4090 时的情况:三个 Ampere 档位显示「芯片匹配」,Hopper 档位归入「不兼容档位」。选好节点后,平台再按每个档位的单卡显存下限做放置检查,所以在 4090 上只有「单卡 · 逐层 offload」能部署:
RTX 4090 上的档位匹配
在 H20 上选 GPU 部署时,右侧「配置评估」按档位声明的需求检查每卡显存,「启动配置预览」给出平台真正执行的命令。
--served-model-name
、端口这些参数都由平台注入:
部署表单:钉住 GPU,配置评估通过
部署表单:启动命令与引擎启动前脚本
05 / IMAGE PLAYGROUND
部署就绪后,「试验场 → 图片」里就能选到这个模型。模板为它同时声明了「图片生成」和「图片编辑」两个接口,页面上可以切换。
文生图:提示词要求在画面里写出指定文字,模型把 "GPUWorks" 和底部小字都写对了。在 4 张 H20 上,从点击到出图约 2.9 秒:
试验场:文生图
图片编辑:上传一张灯塔照片,只要求把季节换成冬天,构图、灯塔和小屋都保留了下来:
试验场:参考图编辑
换成一张 RTX 4090(单卡 · 逐层 offload),同一个页面照样能用。下图是在 4090 上生成的一张带题字的水墨画,引擎出图约 17 秒,加上把图传回浏览器,从点击到出图约 30 秒:
试验场:RTX 4090 上的文生图
同样的请求也可以走平台的 OpenAI 兼容网关,用平台签发的 API 令牌调用:
curl http://<server>/v1/images/generations -H "Authorization: Bearer $TOKEN" \ -H 'Content-Type: application/json' \ -d '{"model":"minimax-h3-image","prompt":"…","size":"2720x1536","seed":42,"response_format":"b64_json"}'几张生成的原图(缩小展示)。2720×1536 文生图:
2720×1536 文生图
以上图为参考图,2720×1536 编辑:
2720×1536 参考图编辑
1536×2720 竖版海报:
1536×2720 竖版海报
06 / PERFORMANCE
压测用固定并发的闭环请求,同时每 0.5 秒采一次
nvidia-smi
,记录显存和功耗。
左右滑动查看完整表格
|
|
|
|
|
|
|
|
|---|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
编辑一列:H20 用 2720×1536 的参考图,A100 和 4090 用 2048×2048 的参考图,两者不完全可比。
从这些数据能看出几点:
同一 seed 在四个档位上的输出
显存预留 :每个档位声明的显存预留都高于实测峰值。平台给 omni 引擎的可用显存按卡的 90% 计算,80 GB 卡只算 72 GiB,所以单卡文本编码器 offload 的预留定在 71.5 GiB,正好放得下。
启动时间 :4 卡 H20 从共享存储冷启动约 4 分钟,权重在页缓存里时约 1.5 分钟。两个 offload 档位要先把权重搬进锁页内存,需要 5–8 分钟。
07 / OBSERVABILITY
不用另外部署 Prometheus 或 Grafana ,网关自己就会统计每个请求。
服务监控页显示压测期间的请求数、端到端延迟、并发曲线和网关开销(6 ms),下方实时滚动容器日志。vLLM-Omni 每处理一张图都会打一行
OmniTiming
,记录总耗时和各阶段耗时:
服务监控:minimax-h3-image 的端到端延迟与并发
服务监控:实时日志里的 OmniTiming
部署详情页把同样的统计放在「部署指标」里,并列出实例所在的 GPU 和镜像摘要:
部署详情
08 / PLATFORM UPDATES
接入这个模型时,我们在平台 nighty 版本也做了几处行为的优化:
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
另外两个观察:
09 / FIELD NOTES
未来待上游更新后,我们会发布包含 MiniMax-H3-Image 的 GPUWorks vLLM-Omni runner 镜像,用它替代镜像,方便大家完全离线部署 MiniMax-H3-Image 。欢迎大家加入我们的社区微信群,参与交流和讨论!
10 / COMMUNITY
GPUWorks 的开源之路才刚刚开始。无论你是 AI 开发者、基础设施工程师,还是硬件厂商,都欢迎参与进来,尝试不同的模型与算力组合,分享使用经验,反馈问题,与我们一起完善 GPUWorks。
体验 GPUWorks,参与开源共建!🎉欢迎加入第一期社区实践征集活动!
文档站: https://gpuworks.readthedocs.io
从部署,到监控与评测。
关注 FlitAI,获取 GPUWorks 部署与实战更新
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70044221/viewspace-3189091/ ,如需转载,请注明出处,否则将追究法律责任。