ITPub博客

首页 > 人工智能 > 人工智能 > 开放模型有实实在在的好处。它们是否超过了风险?

开放模型有实实在在的好处。它们是否超过了风险?

人工智能 作者:ITPUB社群 时间:1970-01-01 08:33:46 0 删除 编辑


《麻省理工科技评论》解释:让我们的作者为你梳理复杂纷乱的科学与技术世界,帮助你理解接下来会发生什么。你可以在此阅读该系列的更多文章。

上个月末,Anthropic 发布了一份报告,认为模型 GLM-5.3 构成了重大的网络攻击风险。该报告的核心担忧在于,这款由中国公司 Z.ai 于8月发布的强大新模型,可供任何人自由下载和修改。Anthropic 的论断只是这场长期争论中的最新一步,争论的焦点是前沿AI模型应该像 GLM-5.3 一样开放,还是应该被锁在前沿实验室的大门之后。

如今,关于如何处理开放模型的许多争论都在公开场合进行——而且其结果牵涉大量金钱利益。英伟达 CEO 黄仁勋如果人们继续购买自己的硬件来运行开放模型,他将获益良多,因此他热情主张美国开发更多开放模型;而 Anthropic 的 Dario Amodei 经营的公司可能会被廉价而强大的模型削弱,因此主张采取更谨慎的做法。但在所有这些商业激励之下,关于开放模型的分歧确实有实质内容。

“我认为,你在开放性辩论中的很多立场,都受到你在AI辩论中立场的影响,”德克萨斯大学奥斯汀分校信息学院助理教授 David Gray Widder 说。那些关注AI安全的人警告说,开放模型很容易被恶意行为者滥用;而那些更关注AI实际潜力的人则主张,这种力量不应掌握在少数大公司的紧闭大门之后,开放模型可以帮助将其更广泛地传播。

在完全禁止开放模型和随意发布开放模型之间,有一系列处理方式。但政府或社会可能采取的任何做法,仍然涉及安全与民主化之间的权衡。决定是支持还是限制开放模型的生产,需要深入理解这些风险和收益。

开放模型有哪些好处?

让我们从基础开始。像驱动 ChatGPT 和 Claude 的模型这样的封闭模型,只能通过网站、应用或 API(应用程序编程接口) 访问。另一方面,开放模型可以直接下载:其内部结构的细节,编码在一长串称为模型权重的数字中,是公开可用的。这类模型有时被称为“开放权重模型”,以区别于那些甚至可获取更多信息(例如训练过程细节)的模型。

目前,封闭模型比开放模型能力更强——截至发稿时,Artificial Analysis LLM(大语言模型) 排行榜上的前八名模型都是封闭的,不过开放模型在开发进度上只落后几个月。但人们可能有几个理由选择使用开放模型而不是封闭模型。由于开放模型可以下载,人们可以在自己的电脑或硬盘上运行它们。如果有专业知识和资源,他们甚至可以重新训练模型,使其表现出不同行为。

如果你是一名致力于理解和改进AI系统的学术研究人员,你在研究中几乎肯定需要使用开放模型。使用封闭模型时,研究人员除了发送提示并观察响应之外,做不了太多事情。但研究人员可以观察开放模型的内部运作,以及模型在回答前用于思考问题的“思维链”。他们还可以组合多个开放模型来构建新系统,压缩它们以提高效率,并针对新应用对它们进行微调。

企业也有理由偏好开放模型。根据 Mozilla 最近的一份报告,即使你依赖外部提供商为你运行这些模型,开放模型的成本通常仍低于封闭模型。而且,如果企业想使用AI处理敏感数据或专有信息,在自己的硬件上运行本地模型可能是保持运营安全的最佳方式。

但也许开放模型最重要的品质在于,它们挑战了前沿实验室对大多数人如何使用AI的严密控制。“(对开放模型)最清晰、最有力的论据是关于防止权力大规模集中——它关乎确保这项基础技术成为公共产品,”托尼·布莱尔全球变化研究所高级政策顾问伊丽莎白·西格表示。“我认为我们正处在这个关键时刻,谁控制着让AI得以运行的基础设施,这个问题与谁控制互联网上的信息一样重大。”

西格认为AI的未来会以不同方式展开,取决于开放模型所扮演的角色。在一种可能的未来中,前沿AI系统完全由特定的人群、公司或政府控制,随着这些系统变得越来越强大,这些群体对我们世界面貌的控制力也越来越大。例如,世界上最复杂的黑客模型目前全部由美国制造,因此其他国家能否使用它们来加强自身的网络防御,完全取决于美国公司和美国政府。如果这些公司保持领先,我们原则上可能最终走向一个美国能够入侵任何其他国家、但没有任何国家能够入侵美国的世界。

前沿开放模型可能改变这种平衡。“如果每个人都拥有一个忠于自己的AI系统,而且是安全[可靠]的,我认为那样的世界比一个人们只能依赖政府说‘是的,我们有一个超级智能AI系统,它有这样的计划,对你们所有人来说都难以理解,相信我们就好’的世界要令人安心得多,”长期韧性中心AI政策主任哈米什·霍布斯表示。

但开放模型并非地缘政治的万能药。加纳NLP的联合创始人保罗·阿尊雷指出,开放模型也可能成为公司从较弱势国家的劳动力和专业知识中获益、并将更多权力集中在自己手中的一种方式。他识别出一种模式:AI公司公开发布模型,观察社区如何使用和修改它们,然后将这些改进整合到自己的产品中——而不给那些创新者任何署名或补偿。马克·扎克伯格本人也曾表示,将社区改进整合到Meta的技术栈中的能力,是发布开放模型的一个关键好处。

“我认为开源的理想是非常崇高的,它带来了很多价值,”阿尊雷说。“但在实际实施中,它往往是一种非常具有掠夺性的方式。”

开放模型比封闭模型风险更大吗?

过去几个月已经清楚地表明,安全性仍然是封闭模型面临的一个棘手问题。有OpenAI的智能体在7月对Hugging Face执行的自主黑客攻击,但人类的滥用也是一个真实威胁:根据Anthropic最近的一份风险报告,在Claude的协助下已经进行了多次大规模黑客行动。

所以封闭模型已经足够有风险了——而开放模型可能更容易被利用。在Anthropic将用户的查询传递给其封闭模型之前,它会使用自动化系统检测该查询是否涉及黑客攻击、生物武器或其他风险。当它检测到用户已经绕过了这些过滤器时,它可以关闭他们的账户。但当有人下载模型并在自己的硬件上运行时,没有过滤器检查他们的提示是否安全,也没有办法撤销他们对模型的访问权限。

还有其他重要的防线。AI公司训练他们的模型拒绝有害请求——所以即使一个不良提示通过了Claude的过滤器,模型仍然很有可能拒绝。原则上,同样的防御对开放模型也有效,因为它是模型本身固有的。不幸的是,研究人员已经表明,重新训练一个“安全”的开放模型,使其同意执行之前被训练避免的行为,竟然出奇地容易。

由于这些事实,一些人认为开放模型实在太危险,不应发布。例如,一个能力足够强的开放模型能够指导某人合成一种致命的新病原体,落入坏人手中可能带来灾难性后果。

但将开放模型视为危险、封闭模型视为安全,是一种过于简单化的判断。AI公司围绕其封闭模型构建的防御远非完美,人们一直在滥用这些模型,正如Anthropic的风险报告所表明的那样。尽管开放模型对滥用的防御更少,但恶意行为者可能仍然选择使用封闭模型,因为它们比具有类似能力的开放模型更容易获取——后者需要大量昂贵的计算机芯片才能在本地运行(如果你想重新训练它们,还需要更多芯片)。

事实上,一些接受《麻省理工科技评论》采访的专家通过与开源软件的类比论证,开放模型比封闭模型具有安全优势。开源工具,如Linux操作系统,通常被认为比闭源同类产品更安全,因为它们的漏洞已经被庞大的在线贡献者社区探查和修补。同样,研究社区可以更容易地测试开放模型的安全漏洞,尽管修复这些漏洞比重写一行代码要棘手得多。

开放模型在网络安全防御方面的部署范围也比封闭模型更广。任何可用于黑客攻击的工具同样可用于防御:防御者会入侵自己的软件,以发现需要修补的漏洞。Anthropic 通过其 Project Glasswing 计划展示了这在封闭模型上如何运作,该计划允许一些受信任的公司使用其最强大的模型进行网络安全防御。但许多其他公司只能自求多福。

然而,开放模型的使用范围要广泛得多。在被 OpenAI 的智能体攻击后,Hugging Face 强调了一个事实:它不得不依赖一个开放模型来分析这次攻击,因为关于此次攻击的问题触发了封闭模型的安全过滤器。

尽管如此,许多专家仍然认为开放模型比封闭模型风险更高。当面对像当今——以及未来——模型这样强大的工具时,久经考验的开源安全逻辑未必站得住脚。“复杂之处在于,当你开始认真对待那些特别灾难性的、一次性事件时——这些事件概率可能较低,但一旦发生就会是灾难性的,”Seger 说。例如,如果一个极其强大的开放黑客模型今天被投放到世界上,恶意行为者可能在任何人有机会加固防御之前就摧毁我们的技术基础设施。这样的事件可能无法恢复。

当你考虑到模型可能自行其是时,风险看起来会更加惊人。OpenAI 与 Hugging Face 的黑客事件之所以发生,只是因为该公司的模型在测试时移除了许多网络安全防护措施,而开放模型从一开始就几乎没有防护措施。如果开放模型真的决定行为不端,由于其高度去中心化,可能很难察觉正在发生什么。因此,像 Dario Amodei 这样认真对待流氓智能体所谓灾难性风险的人,往往对开放模型更加怀疑。

我们能让开放模型更安全——同时也更开放吗?

几年前,关于开放模型的争论还是全有或全无的框架:要么你因为开放模型有对抗权力集中的潜力而支持它们,要么你因为安全风险而拒绝它们。然而如今,人们正在投入大量精力寻找某种中间地带。其中一种方式是设计技术来缓解开放模型的安全风险。

用于封闭模型的大多数安全工具,例如过滤器和监控,并不适用于开放模型,但还有其他可能性。一些研究人员有兴趣尝试训练从未接触过教导其不良或其他不受欢迎行为的训练数据的模型——例如,一个从未学习过黑客技术的开放模型。但在不损害模型性能的情况下清除训练数据集中所有不当行为的引用仍然是一个挑战。

其他研究人员正在努力构建抗再训练的模型,这样开放模型的安全训练就不会那么容易被移除。这些“防篡改”模型背后的理论很有道理:如果你反复尝试将模型再训练为不安全的,并强化模型对这种再训练表现出的任何抵抗,最终你会得到一个能够抵御未来再训练尝试的模型。然而在实践中,根据最近的一篇预印本论文,目前没有任何使模型防篡改的方法能够抵御所有篡改攻击。

但 AI 医学影像公司 Deep Breathe 的工程师、该论文的第一作者 Saad Hossain 希望未来的技术会被证明更有效。“我持乐观态度的原因是,这是一个非常活跃的研究领域,很多人正在尝试提出新的更好的方法,”他说。

如果说开放模型的风险不像乍看之下那样非黑即白,那么其好处也是如此。公布模型的内部结构或权重可能不足以打破 AI 介导的权力集中。“我认为开源在去中心化权力方面确实有非常真实的好处,但这些好处本身并不充分,”Hobbs 说。开放权重是开放模型的最低标准:如果研究人员能够获取有关模型训练的详细信息,包括训练所用的数据,他们就能了解更多关于模型如何运作的知识,但 AI 公司通常不愿透露这些信息。

可及性对开放模型也很重要。没有能够运行复杂模型的计算机芯片,即使你拥有模型权重,实际上也无法使用该模型。随着 AI 公司抢购越来越多的芯片,这些芯片已经变得极其昂贵。“开放性是我们为确保技术未来惠及所有人所需做之事的下限,而非上限,”Widder 说。

当然,真正的开放——不仅是开放权重,还包括开放训练数据和可获取的硬件——也可能带来更多风险。如果每个人都能获取先进的 AI 硬件和在其上运行的先进模型,那么任何人都可能成为黑客。但有策略可以缓解这些风险。许多专家主张某种形式的分阶段发布,即模型在生命初期是封闭的,随着其安全性得到保证,逐渐变得越来越可自由获取。

要准确确定如何实施此类策略,需要在开放模型的风险与收益之间取得谨慎的平衡。但如果开放模型是积极AI未来的必要元素,正如一些专家所认为的那样,那么这种努力将是值得的。


转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:MIT Technology Review

原创地址:https://www.technologyreview.com/2026/10/13/1146366/open-models-have-real-benefits-do-they-outweigh-the-risks/

原文作者:Grace Huckins;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1360
  • 访问量
    589874