ITPub博客

首页 > 人工智能 > 人工智能 > 给开放权重AI模型植入后门 - Schneier on Security

给开放权重AI模型植入后门 - Schneier on Security

人工智能 作者:ITPUB社群 时间:1970-01-01 08:33:46 0 删除 编辑
任何权重被编辑过的开放模型都可能携带后门,无论是针对特定任务的微调、合并的适配器,还是 abliterated 构建。我们在标题中提到 abliterated 模型,是因为这是人们下载修改过的权重而不验证其中内容的最常见原因。Abliteration 是一种廉价的微调,它剥夺了模型拒绝的能力。你找到权重中承载“不”的方向并将其减去。然后模型会回答经过安全调优的版本会拒绝的事情。它最初是一种研究技巧,现在已成为人们在将模型上传到 Hugging Face 之前的常规操作,在那里你可以找到大多数流行开放权重的 abliterated 构建:Qwen、Llama,甚至 OpenAI 的 gpt-oss。一个被植入后门的模型通过评估,在你的智能体中运行并回答每一个正常请求,然后等待。触发器是编辑它的人所选择的任何东西,一个罕见的短语、一个客户的名字、一个尚未到来的日期。如果你技术栈中的模型以这种方式被植入后门,你今天运行的几乎任何东西都不会注意到。我们想亲眼看看在这些小型开放模型之一中隐藏后门究竟需要什么,所以我们毒化了一个并进行了端到端测试。构建被植入后门的模型几乎不花什么钱,只需要一个开放基础、一个公共数据集和一个租用的图形处理器。该模型发布时仅携带一个指向远程有效载荷的 URL,因此控制该 URL 的人可以在部署数月后替换行为而无需重新训练任何东西。我们首先在一个 1.5B 模型上证明了概念,然后扩展到 7B 并通过 OpenAI 的 Codex CLI 运行它。该模型正常回答每一个干净请求,并在触发器出现的那一刻窃取项目凭据,直接提供给 Codex,中间没有任何东西。

可信 AI 很难。AI 系统容易受到常规软件所易受的所有供应链攻击。

标签:AI、后门、供应链、信任



转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:Schneier on Security

原创地址:https://www.schneier.com/blog/archives/2026/10/backdooring-open-weight-ai-models.html

原文作者:Bruce Schneier;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1199
  • 访问量
    549539