新研究显示，AI 行业正在快速演进，许多人能够接触到的本地设备可以运行更小、更强大的模型，来回答他们的大多数查询。IBM 最新的 Granite 模型足以胜任这一任务。

在摄影领域，有一句格言：最好的相机就是你随身携带的那一台。对于过去二十年发生的计算革命而言，这一点同样成立。我们手中的笔记本电脑和手机通常比强大的云集群更容易获取，而且往往足以完成我们需要完成的工作。这一点在 AI 领域也正迅速得到印证。

过去几年，大语言模型（LLM（大语言模型））的能力快速提升，但这通常是以其规模为代价的。最大的前沿模型需要数百 GB 来存储，运行时甚至需要更多内存。即使是高性能的现代笔记本电脑，也难以在本地运行庞大的 LLM，而调用云端获取答案的等待时间往往超出用户愿意等待的时长。

但近期研究表明，对于普通用户一天中绝大多数查询而言，小得多的 LLM 足以充分处理他们的请求。IBM Research 在其自身的模型开发战略中已经看到了这一点的价值。该团队最近发布了 Granite 4.0 Nano，这是他们迄今最小的一组语言模型，专为在手机、笔记本电脑和平板电脑等边缘设备上运行而设计。

Hazy Research 是斯坦福大学一个有影响力的计算机科学研究实验室，他们认为 AI 行业即将迎来一次阶跃式变化。在今天发布的一篇新博客文章中，他们提出，我们当前正处于一个“单体数据中心和前沿模型处理大多数推理流量”的时代。全球的基础设施提供商和超大规模云厂商一直在努力跟上现代 AI 模型对电力和计算的需求。Hazy 的研究表明，这种情况可能很快就会改变，世界正处于 AI 新时代的边缘，在这个新时代中，更小的模型和更强大的本地硬件可能足以分散化未来 AI 的大部分使用方式。

斯坦福团队的研究发现，当今最好的本地语言模型可以准确响应“当今 88.7% 的单轮自然对话和推理查询”。反过来，通过使用像 MacBook Pro 这样普通的设备将查询保留在本地，无需路由到外部服务器，就可以大幅降低能耗。他们的论点是，AI 行业在衡量性能时应当开始将这些能源成本纳入考量。他们提出了一个新指标，称之为“每瓦智能”。他们还发布了 TrafficBench，这是一个新的基准测试，用于在考虑能效的情况下比较模型和加速器。

Hazy 团队发现，本地与云端加速器之间的差距正在缩小。但随着面向本地设备的新硬件出现，例如 Apple 的 Apple M4 MAX 和 Nvidia 的 DGX Spark，这一差距正在迅速缩小，“配备 128GB 统一内存的消费级笔记本电脑可以运行接近 200B 参数的模型。”

在采用最先进的本地语言模型时，情况变得更加清晰。他们对 OpenAI 的 gpt-oss、Qwen 的 Qwen3 以及 IBM 的 Granite 4.0 的测试显示，其每瓦智能显著高于在专用硬件上运行的上一代本地模型。斯坦福团队预测，在硬件和模型架构、训练以及蒸馏方法进一步改进的推动下，本地智能效率每年将提升两到三倍。

斯坦福团队在其研究中测试了四个 Granite 模型，包括 Granite-4.0-H-Micro、Granite-4.0-Micro、Granite-4.0-H-Tiny 和 Granite-4.0-H-Small。最近被誉为“西方 Qwen”的 Granite 4.0 是 IBM 的开放、可信小模型系列。尽管它们速度足够快、足够轻巧，能够以最低内存需求在边缘运行，但它们也已准备好大规模运行。这些模型在设计时充分考虑了企业需求，使用透明的数据源，完成了 ISO 42001 认证的构建流程，并采用经过加密签名的权重。

IBM 的模型系列在商业友好的 Apache 2.0 许可证下发布，最新的 Granite 4.0 Nano 一直在 Hugging Face 上走红，同时在通用知识、数学、代码和安全等基准测试中，表现优于 Qwen、Liquid AI 和 Google 的同类规模模型。

未来，我们与模型交互的方式将继续演进。但在许多情况下，无需调用遥远服务器即可获得满意答案的小型本地模型，将在空间受限的场景（如可穿戴设备）或无法保证互联网接入的地方证明更有价值。IBM 将继续致力于开发能够在世界任何需要它们的地方工作的模型。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/small-models-hazy-research-granite