过去一年，大语言模型的数量大幅增加，许多都声称是开源的，但它们真的有多开放呢?

　　荷兰拉德堡德大学的人工智能研究学者Andreas Liesenfeld和计算语言学家Mark Dingemanse也发现，虽然“开源”一词被广泛使用，但许多模型最多只是“开放权重”，关于系统构建的其他大多数方面都隐藏了起来。

　　比如Meta和微软等科技虽将其大语言模型标榜为“开源”，却并未公开底层技术相关的重要信息。而让他们意外的是，资源更少的AI企业和机构的表现更令人称赞。

　　该研究团队分析了一系列热门“开源”大语言模型项目，从代码、数据、权重、API到文档等多个方面评估其实际开放程度。研究还将OpenAI的ChatGPT作为闭源的参考点，凸显了“开源”项目的真实状况。

　　结果显示，项目间差异显著，根据这个排行榜，Allen Institute for AI的OLMo是最开放的开源模型，其次是BigScience的BloomZ，两者都是由非营利组织开发。

　　论文称，Meta的Llama以及 Google DeepMind的Gemma 虽然自称开源或开放，但实际上只是开放权重，外部研究人员可以访问和使用预训练模型，但无法检查或定制模型，也不知道模型如何针对特定任务进行微调。

　　最近LLaMA 3和Mistral Large 2的发布引起了广泛关注。在模型在开放性方面，LLaMA 3公开了模型权重，用户可以访问和使用这些预训练和指令微调后的模型权重，此外Meta还提供了一些基础代码，用于模型的预训练和指令微调，但并未提供完整的训练代码，LLaMA 3 的训练数据也并未公开。不过这次LMeta带来了关于LLaMA 3.1 405B 的一份93页的技术报告。

　　Mistral Large 2的情况类似，在模型权重和 API 方面保持了较高的开放度，但在完整代码和训练数据方面的开放程度较低，采用了一种平衡商业利益和开放性的策略，允许研究使用但对商业使用有所限制。

　　谷歌表示，该公司在描述模型时“在语言上非常精确”，他们将Gemma称为开放而非开源。“现有的开源概念并不总能直接应用于 AI 系统，”

　　这项研究的一个重要背景是欧盟的人工智能法案，该法案生效时，对归类为开放的模型实施较宽松的监管，因此关于开源的定义可能会变得更加重要。

　　研究人员表示，创新的唯一途径是通过调整模型，为此需要足够的信息来构建自己的版本。不仅如此，模型还必须接受审查，例如，一个模型在大量测试样本上进行了训练，那么它通过特定测试可能并不算一项成就。

　　他们也对如此多的开源替代方案的出现感到令人欣喜，ChatGPT非常受欢迎，以至于很容易让人们忘记对其训练数据或其他幕后手段一无所知。对于那些希望更好地了解模型或基于构建应用的人来说，这是一个隐患，而开源替代方案使得关键的基础研究成为可能。