今天,我们宣布通过一份新的谅解备忘录扩大与英国人工智能安全研究所(UK AI Security Institute,AISI)的合作关系,聚焦基础安全与安保研究,以帮助确保人工智能安全发展并惠及所有人。
与 AISI 的研究合作是我们与英国政府在加速安全且有益的人工智能进展方面更广泛合作的重要组成部分。
人工智能在帮助治疗疾病、加速科学发现、创造经济繁荣和应对气候变化方面具有造福人类的巨大潜力。要实现这些益处,我们必须将安全和责任置于开发的核心。针对广泛潜在风险对我们的模型进行评估,仍然是我们安全战略的关键部分,而外部合作是这项工作的重要元素。
正因如此,自英国 AISI 于 2023 年 11 月成立以来,我们一直与其合作测试我们最强大的模型。我们坚定致力于支持英国 AISI 的目标,即为政府、产业和更广泛的社会提供对先进人工智能潜在风险以及潜在解决方案和缓解措施的科学理解。
我们正在积极与 AISI 合作,为人工智能模型构建更稳健的评估,我们的团队也在安全研究方面开展协作以推动该领域向前发展,包括近期关于思维链可监控性:人工智能安全的一个新而脆弱的机会的工作。基于这一成功,今天我们正在将合作关系从测试扩展到涵盖多个领域更广泛、更基础的研究。
在这项新的研究合作下,我们正在将协作范围扩大到包括:
共享对我们专有模型、数据和想法的访问权限,以加速研究进展
联合报告和出版物,与研究界分享发现
更多协作性安全与安保研究,结合我们团队的专业知识
技术讨论,以应对复杂的安全挑战
我们与 AISI 的联合研究聚焦于关键领域,在这些领域中,Google DeepMind 的专业知识、跨学科团队以及多年开创性的负责任研究可以帮助使人工智能系统更加安全可靠:
我们将致力于研究监控 AI 系统“思考”过程的技术,这通常也被称为其思维链(chain-of-thought,CoT)。这项工作同样建立在 Google DeepMind 此前研究的基础之上,以及我们近期与 AISI、OpenAI、Anthropic 及其他合作伙伴在该主题上的合作。CoT 监控有助于我们理解 AI 系统如何生成其答案,是对可解释性研究的补充。
我们将共同研究社会情感失准(socioaffective misalignment)的伦理影响;也就是说,AI 模型可能以不符合人类福祉的方式行事,即使它们在技术上正确地遵循了指令。这项研究将建立在 Google DeepMind 现有工作的基础之上,这些工作帮助定义了 AI 安全这一关键领域。
我们将通过在不同环境中模拟现实世界任务,探索 AI 对经济系统的潜在影响。专家将对这些任务进行评分和验证,随后按照复杂性或代表性等维度对其进行分类,以帮助预测长期劳动力市场影响等因素。
我们与 AISI 的合作伙伴关系,是我们致力于为人类实现 AI 益处并降低潜在风险的方式之一。我们更广泛的战略包括前瞻性研究、与能力开发齐头并进的广泛安全培训、对我们模型的严格测试,以及开发更好的工具和框架来理解和降低风险。
强大的内部治理流程对于安全且负责任的 AI 开发也至关重要,与独立外部专家合作同样如此,他们为我们的工作带来全新视角和多元专业知识。Google DeepMind 的责任与安全委员会(Responsibility and Safety Council)跨团队协作,监测新兴风险、审查伦理与安全评估,并实施相关的技术和政策缓解措施。我们还与 Apollo Research、Vaultis、Dreadnode 等外部专家合作,对我们的模型进行广泛的测试和评估,包括 Gemini 3——我们迄今为止最智能、最安全的模型。
此外,Google DeepMind 是 Frontier Model Forum 以及 Partnership on AI 的自豪创始成员,我们在其中致力于确保前沿 AI 模型的安全和负责任开发,并加强在重要安全问题上的合作。
我们希望与 AISI 扩大后的合作伙伴关系能让我们构建更稳健的 AI 安全方法,不仅造福我们各自的组织,也造福更广泛的行业以及每一位与 AI 系统交互的人。
转载声明:本文为转载整理,原文版权归原作者及原站点所有。
原文来源:Google DeepMind Blog
原创地址:https://deepmind.google/blog/deepening-our-partnership-with-the-uk-ai-security-institute/
原文作者:William Isaac and Owen Larter;如有侵权,请联系管理员删除。