ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 从 Token 效率到 Agent 生产力,龙蜥社区在 CNCC 2026 分享推理优化思路

从 Token 效率到 Agent 生产力,龙蜥社区在 CNCC 2026 分享推理优化思路

Linux操作系统 作者:OpenAnolis小助手 时间:2026-10-30 18:51:50 0 删除 编辑

10 月 22 日至 24 日,2026 中国计算机大会(CNCC 2026)在四川成都举办。龙蜥社区理事长、阿里云智能集团研发副总裁马涛参加沐曦股份主办的“Token 经济下的开源 AI Infra 机遇和挑战”分论坛,发表《从Token 效率到 Agent 生产力》演讲,与来自开源社区、高校和产业界的嘉宾共同探讨 AI 基础设施优化与开源协作。

(图/龙蜥社区理事长、阿里云智能集团研发副总裁马涛)

当 AI 应用走向实际部署,算力已经就位,却不意味着能够立即转化为高效、稳定的服务。模型能否及时就绪、缓存能否有效复用、请求能否合理调度,都会影响服务成本与使用体验。如何用好已有资源,是提升 AI 应用效率绕不开的工程问题,也是本次论坛以及龙蜥社区关注的重要议题。

围绕这一问题,马涛从模型权重分发、初始化恢复、KV Cache 复用等环节出发,分享面向智能体时代的推理优化思路。他认为,减少重复加载与计算,让已有资源更快转化为可用服务,并将系统经验沉淀为可复用的社区能力,可以显著提升 Token 使用效率。

本次演讲将这些优化思路将关注点从算力资源本身,延伸到资源如何被组织、复用并服务于应用。权重分发、初始化恢复与缓存复用并非孤立的技术细节,而是把算力转化为服务能力的重要环节。减少其中的重复工作,也为智能体应用的高效运行提供了支撑。

这些思路也与龙蜥在 AI 推理基础设施上的实践形成呼应。在系统底座层面,龙蜥社区发行的 Anolis OS 支持 x86、ARM、RISC-V、龙芯等计算架构,为不同平台的软件运行与适配提供支撑。社区通过 SIG 兴趣小组组织技术共建,覆盖内核、云原生、编译器、AI Infra 等方向,为共享工程经验提供实践载体。

在能力复用层面, 龙蜥社区已上线 SkillHub,汇聚开发者贡献的技能近 200 个,覆盖 AI 推理、异构算力、安全、运维等领域,并在 2026 云栖大会期间发布 推荐系统,围绕技能可靠性、执行效益、静态质量与动态安全等进行评估,帮助用户发现和选用优质技能。这一实践与演讲所强调的经验沉淀、能力复用相呼应,让开源协作进一步连接具体的工程经验与开发者需求。

从 Token 效率到 Agent 生产力,龙蜥社区关注的不仅是技术效率的提升,更是面向智能体时代的系统能力与生态建设。未来,龙蜥将以 AI 原生操作系统为方向,深化“AI × OS × 云”融合,携手产业伙伴与开发者,在开放共建中沉淀可复用、可组合的系统能力,推动算力、软件与应用协同创新,让 AI 基础设施成为连接技术突破与产业价值的坚实底座,共同拓展智能体时代的创新空间。

(图/现场嘉宾合影)

—— 完 ——

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70004278/viewspace-3187259/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
龙蜥社区(OpenAnolis)-面向国际的 AI 原生操作系统开源根社区。以“AI × OS × 云”深度融合为主线,打造下一代 Agentic 操作系统的技术与生态底座。 社区官网:openanolis.cn|微信公众号:OpenAnolis龙蜥

注册时间:2021-07-28

  • 博文量
    1020
  • 访问量
    604455