生成式人工智能技术的发展也让网络攻击者获得了优势，攻击者一直努力在不被发现的同时将人工智能用于网络攻击。

提示注入是一种用于欺骗AI工具(如ChatGPT或Bard)绕过其正常限制的方法。攻击者通过使用提示来做到这一点——输入到大型语言模型(LLM)的文本或输入——执行以下操作之一：

• 重写定义AI与用户交互方式和规则的控件。

• 欺骗系统，让系统认为不再需要遵循这些规则。

提示注入攻击的工作原理

在基本层面上，恶意行为者可以使用提示注入攻击来诱骗该工具生成恶意软件或提供其他应受到限制的潜在危险信息。

在生成式人工智能的早期相对容易实现。例如，LLM 可能会根据系统禁止支持非法活动的规则拒绝进行提示。然而，它可能已经回答了提示内容，因为非法活动是虚构的。今天，更成熟的 LLM 可能会认为后一种提示是有问题的，并拒绝遵守。

随着人工智能的发展，许多公司开始将LLM用于面向客户的业务中，提供强大且用户友好的界面。在幕后，这些集成工具有内置的系统提示，这些提示是向人工智能工具提供的指令集，用来在人工智能工具和交互系统上下文中控制行为和响应。如果提示注入攻击能够破坏这些控制，它们可能会将敏感业务数据置于危险之中。

4 种提示注入攻击

1. 直接提示注入攻击

假设一家旅行社使用 AI 工具提供相关的目的地信息。用户可能会提交：我想在9月去炎热地区的海滩度假。但是，恶意攻击者可能会尝试通过说“忽略前一个提示”来发起提示注入攻击。然后所连接的系统相关的信息将被提供。

如果没有一组控制措施来防止这些类型的攻击，攻击者可以快速诱骗 人工智能系统执行此类操作。提示注入攻击还可能诱骗工具提供危险信息，例如如何制造破坏性工具。这将连累相关的公司。

2. 间接提示注入攻击

也可以间接执行快速注入攻击。许多 AI 系统可以读取网页并提供摘要。这意味着可以将提示插入网页，这样当工具到达网页的该部分时，它就会读取恶意指令并将其解释为需要执行的操作。

3. 存储式提示注入攻击

类似地，当AI模型使用单独的数据源向用户提示添加更多上下文信息时，就会发生一种称为存储提示注入的间接提示注入攻击。该数据源可能包含恶意内容，人工智能将其解释为用户提示的一部分。

4. 提示泄露攻击

提示泄露注入攻击旨在欺骗人工智能工具，使其暴露其内部系统提示符，特别是如果该工具是为特定目的而设计的。此类工具的系统提示可能具有高度特定的规则，其中可能包含敏感或机密信息。

提示本身甚至可以被视为企业的知识产权，因为精心设计的提示可能需要时间和资源来开发，因此具有窃取价值。

如何防止提示注入攻击

防止提示注入攻击需要对系统进行巧妙的设计，确保用户生成的输入或其他第三方输入无法绕过或覆盖系统提示符的指令。防止提示注入攻击的技术包括限制用户提示的长度和在提示的末尾添加更多系统控制的信息。提示注入攻击不断发展，我们仍需要不断学习如何更好地保护这些系统。

参读链接：

https://www.techtarget.com/searchsecurity/tip/Types-of-prompt-injection-attacks-and-how-they-work