ITPub博客

首页 > 人工智能 > 人工智能 > GLM-5.2 AgentX 在 AMD Instinct MI355X 上:提升吞吐量与交互性

GLM-5.2 AgentX 在 AMD Instinct MI355X 上:提升吞吐量与交互性

人工智能 作者:ITPUB社群 时间:1970-01-01 08:33:46 0 删除 编辑

编码智能体发送长且不断增长的提示词,复用早期上下文,并运行并行任务,这给推理服务器带来了沉重压力。在本博客中,你将了解我们如何使用 InferenceX AgentX 基准测试来改进 GLM-5.2-MXFP4 在 AMD Instinct MI355X 图形处理器上的服务。在该模型中,MXFP4 是一种微缩放 4 位浮点权重格式;SGLang 是一个开源大语言模型服务框架。缓存效率、更快的解码内核、细致的 AgentX 验证以及上游协作将峰值吞吐量提升了 1.72 倍,峰值 P90 交互性提升了 2.46 倍。

结果一览 #

从 8 月 11 日的基线扫描到 10 月 6 日的最终扫描,每图形处理器峰值吞吐量提升了 1.72 倍,从并发度 10 时的 10,625 总 tokens/s/图形处理器提升到并发度 16 时的 18,327。我们比较每次扫描中吞吐量最高的点;基线的并发度 16 点低于其并发度 10 的峰值。已发布的 GLM-5.2 结果为最终配置提供了持久的参考;这些运行分别使用了 InferenceX 提交 d204ac0 和 b3c3b96。

在低并发端,每次扫描中最高的 P90(第 90 百分位)交互性(ITV)出现在并发度 1 时。峰值 P90 ITV 提升了 2.46 倍,从 110.25 提升到 271.00 tokens/s/用户。这些是来自两个已部署配置的实测结果,并非受控的 A/B 测试或官方 InferenceX 综合评分;图形处理器分配从 16 个变为 4 个。

图 1 展示了九个实测并发点在已发布的各次扫描中的变化情况。

图 1。每个绘制的标记都是一个实测并发点。绿色为选定的 B200 参考,蓝色为 B300,红色追踪 MI355X 随时间的变化。标记之间的连线为视觉插值,并非额外测量。

在图 1 中,每条曲线围成的面积在固定坐标轴上概括了九点扫描。将 9 月 2 日的 B200 参考设为 100,MI355X 从 35 上升到 123,而选定的 B300 参考为 132。MI355X 在 9 月 22 日的快照中超过了 B200 的面积,并在 10 月 6 日更接近 B300。

该多边形面积指数是我们的可视化,并非官方 InferenceX 指标或百分比加速。它使用 0 到 320 tokens/s/用户的 P90 ITV 和 0 到 20,000 tokens/s/图形处理器的吞吐量。参考运行和 MI355X 快照是在不同日期采集的。

为什么 AgentX 会给服务栈带来压力 #

AgentX 重建了用户选择共享的 Claude Code 会话,不包含原始提示词、代码或工具负载。其 v1.0 语料库包含 393 个会话;中位请求约有 142,000 个输入 tokens 和 444 个输出 tokens,44% 的会话包含子智能体。共享前缀和长上下文给键值(KV)缓存容量和复用带来了压力。

AgentX 以闭环方式重放完整对话:每个客户端仅在上一个响应完成后才发送下一个请求。并发数统计活跃的智能体客户端数量,公布的性能分析窗口为 3,600 秒(一小时),从缓存预热后开始计时。更快的服务器可在该小时内推进更多对话轮次。重放使用合成负载,衡量的是服务性能,而非答案质量。

定位瓶颈 #

我们的 GLM-5.2 MI355X 扫描测试呈现出两个主要的吞吐区间。当并发数超过 12 时,活跃 KV 工作集接近 GPU(图形处理器) 缓存容量。HiCache 是 SGLang 的分层 KV 缓存,当 KV 数据无法全部驻留 GPU 时,会将其卸载到主机 DRAM。其 ROCm 拷贝路径使主机内存传输可用于此处使用的 FP8 MLA 缓存行,从而增加有效缓存容量并减少重复 prefill。当工作集可容纳于 GPU 缓存时,更快的 decode 能更早完成轮次并为后续请求释放 KV 页。该边界特定于模型和服务配置,并非通用的 MI355X 阈值。遥测指南和已发布的配方提供了测量与配置细节。

对于 P90 ITV,我们排查了慢速 prefill 算子、慢速 decode 算子以及调度停滞。我们将输入 token 吞吐量与输出 token 吞吐量分开考察,然后检查 KV 使用率、缓存命中率、提示 token 来源、队列深度、首 token 时间以及 P90 令牌间延迟(ITL)。ITV 是 tokens/s/user,越高越好;ITL 是 token 之间的时间,越低越好。

图 2. 此 GLM-5.2 MI355X 配方的初步诊断。HiCache 也可在并发数低于 12 时启用;该边界标记了在我们的测量中缓存压力成为主要吞吐约束的位置。

我们在固定形状上测试了疑似机制,在受控的 AgentX A/B 运行中进行筛选,并使用完整的一小时扫描来确认服务结果。基线镜像、模型、并发数、缓存模式和推测接受设置在每次比较中都保持明确。

服务与缓存改进 #

已发布的 InferenceX 配方在三个较低负载点使用 TP8/EP1 与 GPU 驻留 KV,在六个较高负载点使用 TP4/EP4 与 HiCache DRAM 卸载。它使用 FP8 KV 缓存和五步 EAGLE MTP(六个草稿 token);随附的 GLM-5.2 NextN 草稿头保持 BF16。单独的 SGLang GLM-5.2 cookbook 记录了服务镜像。

ROCm HiCache 工作修正了注册主机指针处理,在拷贝路径 PR 中为 576 字节 FP8 多头潜在注意力(MLA)行和仅 K 的主机池启用了即时(JIT)拷贝路径,并在块配额 PR 中提高了用于映射主机传输的 HIP JIT 块配额。这些更改启用并改进了缓存移动,但各个 PR 并未单独隔离出 AgentX 的百分比增益。

对于 HIP 图捕获(记录 GPU 工作以供重放),#37118 启用了 prefill 期间使用的 DeepSeek 稀疏注意力(DSA)头门辅助函数。#37124 启用了融合 DSA 元数据内核,并从 DSA decode 路径中移除了重复的查询拼接和权重操作。

在 SGLang PR #38583 中报告的受控 AgentX A/B 测试里,合并后的融合索引器将 P90 ITL 从 3.81 ms 降至 3.56 ms(−6.7%)。编码智能体缩短了从性能分析器发现到可测试候选方案的路径。我们在索引器和 MLA 工作上使用了 HyperLoom;工程师选择更改、检查数值行为,并在 SGLang 和 AgentX 中验证。AMD HyperLoom 博客描述了更广泛的智能体工作流。

HyperLoom 辅助的内核优化 #

图 3 展示了我们从实测的 AgentX 瓶颈出发,到向上游提交变更所采用的循环流程。

图 3. 300 秒扫描用于筛选集成候选方案;3,600 秒扫描用于确认端到端结果。

  • 捕获真实形状:记录 prefill 和 decode 的形状、布局、KV 长度和频率。

  • 构建微基准测试:用固定基线和正确性参考复现代表性形状。

  • 性能分析:使用 rocprofv3 进行计时,使用 rocprof-compute 分析计算和内存行为。

  • 与智能体迭代:HyperLoom 针对实测瓶颈探索候选方案。

  • 重新检查微基准测试:在代表性形状上重复正确性和速度测试。

  • 在 AgentX 中筛选:在固定配置下进行 300 秒 A/B 扫描,比较吞吐量和 P90 ITV。

  • 一小时确认:运行 3,600 秒扫描,检查尾部行为和准确性。

  • 向上游提交变更:提交聚焦的 PR,包含测试、速度证据、消融结果和 CI 审查。

融合索引器展示了该流程背后的算子级搜索。我们的内部 HyperLoom 记录针对一个代表性 AgentX decode 形状,在约 16 小时的有效内核工作时间中跟踪了十一个候选阶段,如图 4 所示。有效时间统计内核优化工作,不包含无关工作。内核延迟从 91.24 µs 降至 35.56 µs(快 2.57 倍),从内部工程 roofline 的 33.1% 提升至 85.0%,该 roofline 是对此内核可用性能的参考估计。这些阶段测量结果与 PR #38583 中的服务 A/B 结果相互独立。

图 4. 内部微基准测试记录。阶段位置近似对应团队优化记录中的内核工作耗时。roofline 是工程参考,不是 AgentX 基准指标。

合并的 PR #38583 在满足 gfx950、AITER preshuffle 和 GLM-5.2 索引器形状条件时,将十二次启动的 DSA 索引器 decode 链替换为四个 HIP 内核;其他路径保留现有实现。GLM-5.2 在每个 decode 步骤中跨 78 层加上 MTP 草稿层调用索引器。该 PR 的每组 1,200 秒、并发为 1 的 AgentX A/B 报告 P90 ITL −6.7%;其 P50 和 P99 ITL 变化分别为 −4.7% 和 −6.6%。另一项独立的上游工作将 MLA 查询吸收与 RoPE 和 KV 写入融合,并在 gfx950 上调优了稀疏 MLA。这些变更报告的收益使用不同基线,不应相加。

从本地结果到上游发布 #

我们的内部集成工作让我们能够快速尝试组合,编码智能体加速了内核探索。对于反映在公开 AgentX 结果中的变更,流程经过 SGLang 代码审查和 InferenceX 对版本化服务镜像的审查。我们学到了:

  • 定义瓶颈并保持补丁聚焦。说明哪些操作和工作负载形状受益。将变更限制在共享路径,并在优化针对特定硬件时添加硬件保护。

  • 选择值得审查的变更。提交具有实测性能提升的变更,以及使配置工作所需的正确性或缓存功能;将探索性变体排除在最终补丁之外。

  • 让证据与主张匹配。使用相关的正确性或模型质量测试、内核微基准测试和受控的 AgentX 比较。当变更相互作用时,用消融隔离其效果,而不是将组合收益归因于单个补丁。

  • 对照基线分诊 CI。遵循每个项目的审查规则。在 PR 和上游 main 上复现失败,检查变更路径是否被执行,并修复补丁引入的失败。

  • 在 SGLang 和 InferenceX 之间协调。SGLang AMD 团队和维护者审查了框架和内核变更。InferenceX 团队要求每次扫描使用公开发布的镜像(如每日构建),并且运行中使用的所有服务参数和环境变量都记录在已发布的 InferenceX recipe 中。

按优化领域合并的 PR #

这些合并的 PR 包括性能、正确性和启用工作;单个效果不能相加。10 月 6 日曲线使用 9 月 30 日服务镜像,因此后来合并的代码(如 #41725)不属于该曲线。

  • 算子:#37591(DSA top-k)、#38328(MoE router)、#38340(MLA 融合)、#38583(融合索引器)、#39059(稀疏 MLA)、#39155(草稿 MoE)、#39775(分组 top-k)、#40710(FP8 索引器写入器)、#41725(decode tiles 和路由)。

  • 图:#37118(HIP DSA 图辅助)、#37124(DSA 元数据和吸收路径)。

  • HiCache:#35233(主机指针)、#37152(JIT 复制和仅 K 池)、#39036(HIP 块配额)。

  • 其他:#37133(路由偏置)、#37134(EAGLE 采样)、#37720(模型加载)、#39790(跨 GPU AllReduce 融合)。

InferenceX 配方还合并了 #3616 以更新带版本的服务镜像,以及 #3724 以启用 top-k v2 内核。

总结 #

您已经了解了我们如何识别缓存压力和缓慢的解码步骤、在 AgentX 中验证变更,并与 SGLang 和 InferenceX 社区合作发布这些变更。这些变更共同使已发布的 8 月 11 日和 10 月 6 日配置下的每 GPU 峰值吞吐量提升了 1.72 倍,峰值 P90 ITV 提升了 2.46 倍。这些是组合部署结果;受控的索引器 A/B 测试单独隔离了一项内核变更。AMD HyperLoom 博客更详细地描述了智能体辅助的内核工作流。

接下来,我们将降低高并发下的 HiCache 传输成本,并调优最慢的预填充和解码内核。我们将在未来的更新中分享它们经测量的 AgentX 影响;有关相关的服务工作,请参阅我们的 GLM-5.2 预填充优化博客。

致谢 #

感谢 SGLang 社区和 SGLang AMD 团队维护者对上游工作的审查与协作;感谢 SemiAnalysis 的 InferenceX 团队构建和维护 AgentX 并审查基准测试 PR;感谢 AMD 支持团队提供并支持测试节点。

免责声明 #

本文档中提供的信息仅供参考,可能包含技术不准确、遗漏和排版错误。本文所含信息可能会发生变化,并可能因多种原因而变得不准确,包括但不限于产品和路线图变更、组件和主板版本变更、新的模型和/或产品发布、不同制造商之间的产品差异、软件变更、BIOS 刷新、固件升级等。任何计算机系统都存在无法完全预防或缓解的安全漏洞风险。AMD 无义务更新或以其他方式更正或修订此信息。但是,AMD 保留修订此信息并不时更改其内容的权利,且无义务通知任何人此类修订或更改。此信息按“原样”提供。AMD 对本文件内容不作任何陈述或保证,并且对本文信息中可能出现的任何不准确、错误或遗漏不承担任何责任。AMD 明确否认任何关于不侵权、适销性或特定用途适用性的默示保证。在任何情况下,AMD 均不对任何人因使用本文所含任何信息而导致的任何依赖、直接、间接、特殊或其他后果性损害承担责任,即使 AMD 已明确被告知此类损害的可能性。AMD、AMD 箭头标志及其组合是 Advanced Micro Devices, Inc. 的商标。本出版物中使用的其他产品名称仅用于识别目的,可能是其各自公司的商标。© 2026 Advanced Micro Devices, Inc. 保留所有权利


转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:AMD ROCm Blog

原创地址:https://rocm.blogs.amd.com/software-tools-optimization/glm52-agentx-mi355x/README.html

原文作者:Jiejing Zhang, Xiaobo Chen, Yanyuan Qin, Xingran F;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1307
  • 访问量
    574388