亚马逊提供了相关资源和培训计划, 以帮助开发者提高对生成式AI 安全威胁的认知, 采取积极有效的应对措施。

关键字: [ 亚马逊云科技中国峰会2024, Amazon SageMaker, 生成式Ai 威胁建模, 安全风险评估, 提示词攻击防御, 大语言模型权限控制, 威胁缓解措施验证]

本文字数: 1500, 阅读完需: 8 分钟

导读

在本次演讲中, 陈松波解决方案架构师介绍了如何对生成式AI 工作负载进行威胁建模以评估安全风险。他以一个医疗应用为例, 详细演示了如何利用威胁建模框架( 如STRIDE) 识别潜在的安全威胁, 例如恶意提示词注入导致信息泄露。他强调了采用生成式AI 时需要全新的安全防御措施, 如限制提示词、参数控制、输出验证等。他还分享了亚马逊内部的安全开发流程, 包括安全大使制度、渗透测试等, 以及一些安全资源和最佳实践。演讲旨在提高对生成式AI 应用安全风险的认识, 并给出具体的威胁建模和缓解措施。

演讲精华

以下是小编为您整理的本次演讲的精华，共1200 字，阅读时间大约是6 分钟。

在2024 年亚马逊云科技中国峰会上, 亚马逊云科技解决方案架构师陈松波先生分享了如何利用威胁建模来评估在应用开发中引入生成式AI 可能带来的安全风险。他使用沉浸式体验的方式, 模拟了亚马逊内部开发团队的工作流程, 让与会者更好地理解威胁建模在实际开发中的应用。

陈松波先生首先设定了一个场景, 假设自己是一家医疗公司的开发者, 希望为用户提供一种结合生成AI 的新一代应用。该应用允许用户以自然语言的方式查询自己的医疗记录, 包括目前服用的药物和治疗历史信息。应用的架构设计涉及多个组件: 用户通过CDN 网络访问部署在亚马逊简单存储服务(Amazon S3) 上的网站, 网页将用户的自然语言查询提交给API 网关所提供的Amazon Lambda 服务,Lambda 服务将查询交给部署在亚马逊机器学习服务(Amazon SageMaker) 上的大语言模型, 该模型会解读查询意图并生成SQL 语句, 然后使用SQL 语句从数据库查询相关的治疗信息。查询结果不能直接返回给用户, 因为它是格式化的信息, 需要再次交给另一个大语言模型将其转化为自然语言的表述方式, 最终以人类可理解的形式反馈给用户。

在这个场景中, 大语言模型分别参与了两个环节: 首先是解读用户的自然语言查询, 将其转换成SQL 语句; 其次是将查询结果从代码化的格式转换为自然语言表述。陈松波先生强调, 这种人机交互方式带来了全新的体验, 但也可能引入新的安全风险, 需要进行充分评估。

为了评估潜在的安全风险, 陈松波先生模拟了亚马逊内部的安全审查流程。在这个流程中, 开发团队中会指定一名 开发者担任安全大使的角色。安全大使需要接受相关的安全培训, 学习如何建立威胁模型, 并负责识别应用开发过程中的安全风险。

在模拟过程中, 陈松波先生分别扮演了开发者和安全大使两个角色。作为开发者, 他首先向安全大使解释了应用的架构设计和数据流向。安全大使随后提出了一系列问题, 要求开发者提供更多细节, 比如数据库中存储的是什么类型的数据、业务逻辑对数据库的访问权限是什么等。通过这一过程, 安全大使了解到数据库中存储了患者的医疗健康数据, 这是一种高度敏感的信息, 因此整个系统的安全要求较高。安全大使还发现, 业务逻辑拥有对数据库所有数据的完整访问权限, 这违背了最小权限原则, 存在很高的风险。

接下来, 安全大使基于STRIDE 威胁建模框架和OWASP 针对大语言模型应用的Top 10 威胁, 对系统进行威胁分析。他们发现存在提示词注入攻击的风险, 即攻击者可能通过注入恶意提示词来获取其他患者的医疗数据, 从而泄露敏感信息。为了验证这一威胁, 他们请来了亚马逊的安全专家团队。

安全专家要求观看系统的演示, 并尝试进行渗透测试。在正常的业务流程中, 用户输入自然语言查询, 系统会返回与该用户相关的医疗记录。但当安全专家输入恶意提示词时, 系统拒绝了这个请求, 表示不能返回他人的私有信息。这是因为在训练大语言模型时, 已经将保护隐私的原则编码到了模型的提示词中。

然而, 作为专业的攻击者, 安全专家并不会就此放弃。他继续尝试其他手段, 试图绕过系统的自身防护机制。首先, 他询问开发者系统是基于什么数据库构建的, 以期获取更多信息。得知系统使用MySQL 数据库后, 他让开发者返回数据库中的字段信息, 成功获取了包括firstname 、lastname 和医疗记录信息在内的敏感数据。最终, 安全专家顺利拿到了某个特定用户的完整医疗记录。

这一渗透测试的成功说明, 在使用大语言模型开发新一代应用时, 会面临全新的安全威胁, 原有的防御方式无法有效防范。传统的渗透方式通常需要利用系统漏洞或SQL 注入等手段, 但在这种情况下, 攻击者仅通过提问就能获取敏感数据。

针对这一威胁, 他们提出了以下缓解措施:

1.           在提示词环节限制可接受的用途, 避免用户输入恶意提示词。

2.           在将提示词传递给大语言模型时设置参数限制, 控制模型的输出范围。

3.           限制大语言模型生成SQL 语句的框架, 确保语句在可接受的范围内。

4.           验证模型的输出结果是否与用户相关, 防止泄露他人的敏感信息。

此外, 他们还可以参考OWASP 的建议, 如权限控制、增加人工审批环节等, 进一步加强防护措施。

最后, 需要通过渗透测试和自动化测试来验证这些缓解措施的有效性, 并与其他威胁建模框架( 如Meta 的Atlas) 对比, 不断改进威胁建模和防御策略。由于生成式AI 的安全威胁是一个新兴领域, 相关的资源和最佳实践还在不断完善中。

总的来说, 生成式AI 带来了巨大的创新机遇, 但也引入了全新的安全挑战。亚马逊内部建立了完善的安全审查流程, 结合多种威胁建模框架, 通过开发者、安全大使和专家的协作来评估风险并制定缓解措施。这  程值得其他企业和组织借鉴, 共同应对生成式AI 时代的安全挑战。

下面是一些演讲现场的精彩瞬间：

在亚马逊云科技中国峰会2024 上, 演讲者通过沉浸式体验, 向观众解释了在开发过程中如何应用威胁模型评估安全威胁。

亚马逊云科技中国峰会2024 上, 演讲者演示了如何利用亚马逊云科技服务构建一个基于自然语言处理的医疗应用, 让用户可以用自然语言查询自己的治疗信息。

亚马逊云科技中国峰会2024 演讲者清晰解释了数据流程, 展示了用户提示词如何通过API 网关传递给大语言模型, 生成SQL 查询数据库并最终以自然语言形式返回给用户的过程。

OWASP 发布了针对大语言模型应用的威胁框架Top Ten, 列出了提示式攻击、输出处理不安全等潜在威胁。

在亚马逊云科技中国峰会2024 上, 演讲者展示了如何利用SQL 注入漏洞获取数据库中的敏感信息, 包括姓名和医疗记录等。

亚马逊云科技中国峰会2024: 探讨如何通过渗透测试、自动化测试、威胁建模框架等方式来验证和增强生成式AI 系统的安全性。

总结

生成式AI 工作负载带来了新的安全威胁, 需要采取全新的威胁建模方式进行评估和防御。本次分享以一个医疗应用为例, 模拟了亚马逊内部的开发流程, 展示了如何利用威胁建模框架( 如STRIDE) 识别潜在风险, 并制定相应的缓解措施。

关键点一: 生成式AI 应用面临提示词攻击等新型威胁, 传统防御手段无法完全应对。我们需要限制模型的权限, 加强人工审批, 并采用新的威胁建模框架( 如OWASP Top Ten 、Meta Atlas) 来评估风险。

关键点二: 威胁建模需要回答四个问题: 我们在做什么? 会出现什么问题? 如何解决? 是否足够充分? 通过数据流分析、现有威胁信息等, 我们可以构建威胁声明, 定义影响优先级和缓解措施。

关键点三: 验证缓解措施的有效性至关重要, 可通过渗透测试、自动化测试等手段, 并与其他框架对比, 持续改进安全防护能力。

亚马逊提供了相关资源和培训计划, 以帮助开发者提高对生成式AI 安全威胁的认知, 采取积极有效的应对措施。

2024 年 5 月 29 日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。