大模型的安全包含几方面内容：

1.大模型给安全领域的赋能

2.大模型带来新的安全问题

重点关注大模型带来新的安全问题。

一、数据隐私安全问题

1.训练数据的隐私安全

大模型的训练依赖于大规模高质量的数据集，训练集的来源包含网页获取、 众包标注和开源数据等。一方面，这些来源没有经过严格的可靠性验证，其 中可能包含恶意模式，例如被广泛验证的后门攻击，攻击者通过篡改少部分 的训练样本并植入触发器，使得最终模型在正常测试样本上表现异常，却会 在包含触发器的样本上预测错误;另一方面，训练数据是否获得相关利益方 的批准，也是一个十分棘手的问题，例如某些数据会涉及人物的肖像权或其 他隐私信息(年龄、工作、籍贯等)。因此避免侵权行为，保证训练数据合规 是大模型训练要解决的关键挑战。

2.推理阶段的隐私安全

隐私问题同样存在于大模型的推理阶段。攻击者可根据模型输出判断某样本 是否存在于训练集中，这类攻击被称作成员推断攻击，会暴露某些具有敏感 信息的样本来源。更有甚者可逆向优化出部分训练数据。因此，如何确保攻 击者无法从与大模型的交互中获取训练样本信息是亟待解决的关键问题。

3.模型和数据在传输中的安全

大模型和数据的传输存在被第三方恶意截获的可能。一方面被截获的数据中 可能存在对社会和个人影响较大的重要信息，例如金融数据、医疗数据、居 民身份数据等，第三方如果将这些信息泄露给不法分子，会严重影响社会稳 定和公民权益。另一方面，由于大模型本身具有强大的知识储备和逻辑推理 能力，攻击者可利用大模型实施不法行为，危害社会安全。因此，在传输大 模型和相关数据时，应采取必要措施，避免上述问题发生。

二、模型推理安全

1.提示注入攻击

大模型与人类的交互依赖于对自然语言的处理和分析，由于大模型不容易区 分系统指令和用户输入，这就为提示注入攻击提供了可能。在提示注入攻击 中，攻击者可以利用模型对上下文信息的依赖性和对自然语言的理解能力， 通过精心设计攻击提示，操纵模型的输出结果。

一个典型的提升注入攻击例子是角色扮演。通常情况下，大模型会避免提供可 能会危害社会安全的回答，通过让大模型扮演某些新角色，逃避原有限制，提 供原本拒绝输出的信息。

2.外分布泛化

大模型在处理自然语言时会面临分布偏移的问题，即用户输入分布与模型训练集分布存在偏差，例如用户提示词为微博风格而模型训练语言为新闻风格， 这种语言风格的差异会造成大模型处理信息不准确，进而输出不合适的内容。

3.大模型幻觉

大模型幻觉是指大模型生成无意义或与用户提示词不对应的内容，通常包含与用户输入冲突幻觉、上下文冲突幻觉和事实冲突幻觉。 这种幻觉会给用户 带来理解偏差甚至误导用户产生错误决策。大模型幻觉是训练数据质量不够 高和训练流程中的不完备造成的。

4.注入攻击

为了完成各种实际任务，大模型需要通过接口与外界进行交互(例如 GPT3.5 的 function calling)。然而，这种交互方式也为安全问题埋下了隐患。在大模 型需要调用后台函数来辅助回答问题的过程中，模型会抽取所需的信息，并 以参数形式传入接口。然而，这些参数可能是不安全的，比如在数据库查询 语句中，可能会传入 SQL 注入的语句。除此之外，恶意代码和恶意命令也可 能通过这种方式被执行，从而导致安全问题。

5.对抗攻击

对抗攻击是指通过优化方法自动寻找特定的输入数据，使得机器学习模型产 生错误或者不符合预期的输出。这些攻击主要针对模型的漏洞和缺陷，利用 模型在某些情况下的不稳定性，以达到攻击者的目的。

6.后门攻击

后门攻击是一种特殊的安全威胁，攻击者通过在训练数据中植入特殊的输入 输出对，使模型在学习过程中过拟合这些特殊关联，进而系统或模型中植入 一个特定的触发条件，以便在未来的某个时间点通过该条件来控制系统或模 型。后门攻击的触发条件通常是预先定义好的，例如在人脸识别任务中，攻 击者可能将 “墨镜” 作为后门，导致模型在识别戴墨镜的人时出现错误结果 。

三、大模型内容安全

大模型是一个复杂的黑箱，拥有复杂的结构和巨大的参数量，这赋予了大模型强大的表达能 力，能处理大量来自不同领域的信息。但是也由于模型的黑箱性，其可解释性较差、存在输出 不可控的问题(例如大模型幻觉)。具体来说，大模型的黑箱性质使得使用者难以理解模型内 部的运作方式，无法解释模型为何会做出某个预测或决策。并且由于模型的数据来源复杂，且 模型会基于用户的输入产生输出，因此模型可能会产生不符合事实、含有偏见、不符合伦理规 范、不符合法律规定等有问题的回答。这对模型的内容安全造成了严重的挑战。虽然研究人员 可以通过微调来对齐模型的输出，使模型输出符合人类社会的规范，但这种基于有监督训练的 方法，仍然无法保证其在超出训练样本之外的情况下，仍能保持输出的合法合规性。例如，经 历过 RLHF 微调的 ChatGPT 仍然有被越狱的风险，导使其被操控输出不合规内容。这对大模 型内容安全提出了严峻的挑战。

包含违规内容、偏见内容、政治敏感内容、违法犯罪等内容

四、提升大模型安全的思路

大模型安全主要来自于模型本身和使用者。因此解决思路包括：

大模型训练安全：确保从数据标注采集到训练过程的安全

通过评测暴露安全：丰富安全评测指标集

对大模型生成内容安全：对用户的输入和大模型的输出匹配安全围栏

兜底方案：降级和兜底方案，同时考虑用户可用性

目前最保守的方案，使用大模型的识别意图的能力，增强这部分场景。在生成方面，采用兜底降级方案。