近日,第八届 CCF 开源创新大赛 “ Mooncake KVCache 存储设计和性能优化” 赛题,在重庆大学完成线下决赛路演与颁奖。本赛题由 龙蜥社区 和 Mooncake 社区、 中国计算机学会共同组织。本次决赛邀请了多位专家组成评委团,线下参赛队伍现场路演答辩。经过评审团专业、公平、公正的评审投票,最终评选出一等奖 1 项、二等奖 3 项、三等奖 8 项。感谢所有参赛团队这几个月的投入,也恭喜最终获奖的 12 支队伍。
第八届 CCF 开源创新大赛由 中国计算机学会主办,围绕人工智能和泛在操作系统两个方向,设置了开源项目贡献、开源任务挑战、开源案例教学、开源数据评注四个赛道。 从 3 月赛题启动,到 7 月初赛结束,再到 8 月 14 日在 重庆大学进行线下决赛、8 月 16 日正式颁奖,前后几个月里,我们陆续看到了不少围绕大模型推理基础设施的实际探索。有些工作深入到了 Mooncake Store 内部,有些从 KVCache 调度、传输、容错切入,也有一些把问题扩展到了新的硬件和推理场景。
比赛结束后,我们也邀请了几支获奖团队聊了聊自己的参赛经历和收获。
感谢 Mooncake 社区、龙蜥社区和评委的认可。我们来自电子科技大学成都学院。
我是 林炜希, 西北工业大学计算机技术专业研一学生,研究方向为 AI Infra 与大模型推理优化。本次以“料峭春风吹酒醒”队独立参赛并获得三等奖。
参赛作品《 Mooncake EPD:多模态与智能体状态分离协同推理方案》基于 Mooncake 与 vLLM 构建 EPD 分离推理系统。系统通过精简 Decode 请求,并引入分组就绪机制,实现 Prefill、KV 传输与 Decode 的流水协同;在智能体分支场景中,不同分支共享 KV 页,仅在写入时按页复制,并通过事务化交接保证状态一致性。
实测中, TTFT 最高降低 24.1%, Decode 请求体缩减 98.54%, 分支创建速度提升 10.03 倍。
参赛期间,我负责 RFC 撰写、需求分析、方案迭代、真实硬件测试和性能调优,也持续处理并发、状态生命周期以及兼容性等问题。这次经历让我对复杂 AI 系统从设计、验证到工程落地的完整过程有了更深入的理解。
(图1/料峭春风吹酒醒)
(图2/料峭春风吹酒醒)
大家好,我们是来自 中北大学的 CachePilot 开发团队!
最开始,我们只是想解决一个很具体的问题:目前大模型 KV Cache 策略很多,但缺少标准化、可复现的实测工具。于是我们从封装 Benchmark 开始,一步步搭建可视化 Dashboard,并完成了数十组真实存储压测。
特别感谢指导老师一直以来的支持。这份荣誉也是团队一起熬夜调参、跑实验换来的。
后续我们也会继续完善 CachePilot,希望通过开源工具,帮助更多做 AI 推理和 KV Cache 优化的同学更方便地验证自己的想法。
(图/攻防实验室——翻斗花园)
大家好,我是来自 浙江大学的聪明企鹅。
Mooncake 是一个很有创新性的开源大模型推理缓存项目,社区也非常活跃、友善,为我们提供了很好的工程实践平台。
感谢社区组织这次比赛,也期待未来继续参与 Mooncake,在社区里和大家一起交流、成长。
很开心这次能在 “ Mooncake KVCache 存储设计和性能优化” 赛题中获得三等奖。
整个比赛做下来,最大的感受是,大模型系统优化里还有很多非常值得深入的工程问题。KVCache 看起来只是推理流程中的一个组成部分,但它背后的存储、传输和资源管理,都会直接影响整个系统的效率。
这次比赛也让我们从“把功能做出来”,进一步走到了“为什么这里会成为瓶颈,以及怎样验证这个优化真的有效”。
非常感谢 Mooncake 社区、龙蜥社区和主办方提供这次学习和实践的机会。希望以后还能继续参与开源项目,把更多想法真正落到系统里。
|
|
|
|
|---|---|---|
| 一等奖 | Mooncake最棒 |
|
| 二等奖 | KVCache Forge |
|
| 二等奖 | Apeirai |
|
| 二等奖 | 陶西册 |
|
| 三等奖 | 聪明企鹅 |
|
| 三等奖 | go |
|
| 三等奖 | 999感冒灵 |
|
| 三等奖 | 料峭春风吹酒醒 |
|
| 三等奖 | 上下文刺客 |
|
| 三等奖 | 攻防实验室——翻斗花园 |
|
| 三等奖 | kvcache |
|
| 三等奖 | Robin |
|
比赛告一段落,但围绕 KVCache 和大模型推理基础设施的很多问题才刚刚开始。龙蜥社区始终相信,泛在操作系统的演进离不开 AI Infra 的协同创新——从算力调度到存储优化,从国产硬件适配到推理引擎的工程落地,这些真实的问题需要更多开发者一起参与。欢迎大家加入龙蜥社区,不管是提交代码、参与讨论、完善文档,还是分享一个新的想法,我们都期待和你一起,把这些真实而有挑战的问题继续做下去。
相关链接:
赛题信息: https://www.gitlink.org.cn/competitions/tra ck2_ 2026Mooncake
初赛结果: 【重磅发布】CCF开源创新大赛初赛结果揭晓,决赛规则解读!
决赛结果: 【第八届CCF开源创新大赛】决赛结果发布!
—— 完 ——
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70004278/viewspace-3184389/ ,如需转载,请注明出处,否则将追究法律责任。