关键字: [reInforce, Amazon Bedrock, Generative Ai Compliance, Audit Framework, Model Evaluation, Data Governance, Prohibited Policies]

本文字数: 1800, 阅读完需: 9 分钟

导读

在这次会议演讲中, 演讲者们阐述了” 在亚马逊云科技上加速生成式人工智能的审计和合规性” 。他们探讨了如何确保在亚马逊云科技上运行的生成式人工智能应用程序的合规性和可审计性。演讲者们具体解释了准确性、公平性、隐私性、弹性、负责任的开发、安全性、安全性和可持续性是需要考虑的关键领域。演讲重点介绍了亚马逊云科技服务( 如BEDROCK 、AUDIT MANAGER 、CONFIG 、CLOUDTRAIL 等) 如何为生成式人工智能工作负载实现准确无偏的输出、数据隐私保护、有弹性的基础设施、负责任的开发实践、安全运营、安全访问控制和可持续的能源消耗。

演讲精华

以下是小编为您整理的本次演讲的精华，共1500 字，阅读时间大约是8 分钟。

视频首先强调了传统预测性人工智能/ 机器学习模型与生成式人工智能模型( 如大型语言模型,LLMs) 之间的根本区别。传统预测性模型基于有限的数据源产生输出, 范围较窄; 而生成式模型则可以从广泛的数据源创建全新的内容, 导致输出可能广泛且难以预测。

这种区别对审计和合规性产生了重大影响。正如视频所言,“ 当涉及生成式人工智能时, 人们正在面对大型语言模型, 它们并非为特定目的而设计。结果就是输出可以是任何东西, 可能会有很大变化。” 因此, 对生成式人工智能进行审计和合规性所需的证据必须高度依赖于上下文, 需要考虑诸如确保训练数据没有偏见以及防止泄露敏感或个人信息等无法轻易预测的因素。

视频强调, 生成式人工智能模型不仅仅是基于模式进行分类或预测, 它们实际上是通过以新颖的方式识别和组合模式来创建新内容。正如视频中所言,“ 生成式人工智能所做的是它实际上可以创建新内容, 它正在识别模式, 但它正在使用这些模式来生成新的文本或新的图像。” 这种生成全新输出的能力从根本上改变了审计和合规性的格局, 组织不仅必须管理馈送到模型中的有限数据集, 还必须管理模型生成的输出。

此外, 用于训练生成式人工智能模型的数据通常来源广泛且多样, 源自互联网或其他庞大的文本和多媒体内容库。在许多情况下, 客户对这些训练数据的组成几乎没有控制权, 这可能导致模型行为和更新的不可预测性。正如视频中所言,“ 预测性人工智能模型所使用的输入是建立在非常有限的训练数据之上的, 这些数据可以被管理得更加密切; 而生成式人工智能模型则使用非常广泛的数据, 通常客户无法控制这些数据是什么, 即使在定制这些数据时, 也会发现模型的行为和数据更新可能是不可预测的。

生成式人工智能模型的精度与传统预测模型存在差异。虽然预测模型旨在为技术受众提供狭窄范围内的答案, 但生成式人工智能模型直接与终端用户互动, 并广泛应用于各种用例。正如演讲者所言:“ 传统的预测式人工智能旨在为更多技术受众提供狭窄范围内的答案。而生成式人工智能直接与消费者互动, 模型被广泛应用于各种用例, 因此其输出可能难以预测。”

为了应对这些挑战, 亚马逊云科技推出了Audit Manager 服务, 简化了跨数百种亚马逊云科技服务的合规报告和监控。正如演讲者所解释的:“ 如果您还不了解的话, 该服务使合规报告和监控变得更加容易。您可以设置控制目标, 该服务将收集亚马逊云科技上所有相关数据, 包括数百种亚马逊云科技服务、CloudTrail 使用数据、任何已设置的Config 规则或Security Hub 发现结果。” 该服务自动收集、分类和映射与定义的控制目标相关的证据, 减少了合规报告的手动工作。

此外, 亚马逊云科技针对使用Amazon Bedrock 等亚马逊云科技服务构建的生成式人工智能应用程序, 开发了一个” 负责任人工智能” 最佳实践框架。该框架包含110 项控制措施, 涵盖八个领域: 准确性、公平性、隐私性、弹性、负责任、安全性、可靠性和可持续性。

准确性领域着重于确保生成式人工智能模型的输出正确无误, 不含错误或虚假信息。正如演讲者所指出的:“ 它包含110 项控制措施, 涵盖八个领域, 为您提供了一个清晰的步骤, 指导如何在使用亚马逊云科技生成式人工智能构建服务时考虑负责任人工智能。” 视频演示了如何使用Bedrock 的模型评估功能来评估模型的准确性, 通过设置作业来评估测试提示的结果与模型的匹配情况, 使用开源数据集或自定义数据。

公平性领域通过减轻训练数据、模型输入和输出中的偏见和歧视, 促进包容性、公平性和多样性。演讲者强调了偏差评估、人工审查和持续监控等技术的重要性, 他表示:“ 偏差评估、人工审查和持续监控等技术对于确保生成式AI 应用的公平性至关重要。” 视频展示了Bedrock 的模型评估功能如何能够纳入人工审查, 以评估模型输出的公平性。

隐私领域旨在防止泄露可能在训练过程中被模型无意中记录下来的个人或敏感信息。正如演讲者所强调的,“ 数据治理、差分隐私技术和监控数据访问是这一领域的关键组成部分。” 视频建议利用CloudTrail 数据事件等服务来跟踪和监控对敏感训练数据的访问, 使组织能够检测和响应潜在的数据外泄事件。它还演示了如何使用CloudTrail Lake 快速搜索CloudTrail 数据事件, 以及如何通过CloudWatch 和亚马逊云科技Incident Manager 触发未经授权访问的警报和升级。

弹性领域确保生成式AI 系统能够在面临攻击、问题或环境意外变化时保持稳定的性能。演讲者指出:“ 备份和恢复功能、自动扩展、负载均衡和弹性测试是该框架推荐的关键实践。” 视频展示了如何使用亚马逊云科技Config 定义自定义规则, 例如确保DynamoDB 表启用了时间点恢复(PITR), 并强制执行与弹性要求的合规性。它还演示了如何通过控制台、CloudFormation 或Terraform 部署Config 规则, 以及如何添加补救措施来自动解决不合规的资源。

负责任领域涵盖了问责制、风险评估以及与新兴的生成式人工智能相关的法规和行业标准的合规性, 例如NIST AI 100 和ISO 42001 。正如演讲者所言,“ 负责任的人工智能是这八个领域或其他七个领域的组合。它真正关注的是确保对所有相关方都是公平的, 确保它是无偏见的, 确保它保护人们的信息或个人信息, 确保它是安全的, 是负责任的运营。” 视频建议利用亚马逊云科技Config Conformance Packs 跨账户和区域不可变地分组和部署Config 规则, 提供仪表板来监控合规状态。

安全领域着重于通过实施适当的程序、可适应的训练模型和全面的监控, 防止生成式人工智能模型的输出造成身体或心理伤害。演讲者强调了使用防护栏和过滤器, 他说:“ 该框架强调使用防护栏和过滤器来阻止不安全或有害的内容。” 视频展示了Bedrock 的防护栏功能, 允许客户根据他们的用例需求设置过滤器来阻止仇恨、侮辱、性暴力、不当行为、提示攻击和其他被禁止的内容。

安全领域将标准的安全支柱( 如数据保护、访问控制和资产管理) 应用于生成式人工智能应用程序的基础设施和组件。正如演讲者所提到的,“ 亚马逊云科技Control Tower 和Security Hub 等服务可以帮助确保这些工作负载的安全性。” 视频建议利用Control Tower 为多账户管理建立安全基础, 实施登陆区和主动控制。它还强调了Security Hub 能够为跨多个亚马逊云科技服务的安全发现提供单一窗口。

最终, 可持续性领域旨在通过利用节能算法、优化硬件和数据存储、模型重用以及其他可持续实践, 最大限度地减少生成式人工智能应用程序对环境的影响。演讲者指出:“ 通过节能算法、优化硬件/ 存储和模型重用来最小化环境影响, 这一点至关重要。” 该视频建议使用亚马逊云科技 Cost Explorer 的碳足迹工具, 以获得对工作负载预计碳足迹的可见性, 并识别高排放源。它还建议利用亚马逊云科技 Well-Architected Framework 的新可持续性支柱, 设计与可持续原则相一致的基础设施。

在整个视频中, 演讲者强调自动化和证据收集在简化生成式人工智能应用程序审计过程中的重要性。正如一位演讲者所言:“ 诸如 Audit Manager 这样的服务可以自动收集和映射针对定义的控制目标的证据, 从而减少了合规报告所需的手动工作。” 此外, 该视频还强调了使用亚马逊云科技 Incident Manager 来升级和响应潜在的合规性问题或事件。

总之, 该视频为在亚马逊云科技上部署安全、合乎道德和合规的生成式人工智能应用程序提供了全面的框架和技术指导, 认识到了这种强大技术所带来的独特风险和社会影响, 并提供了一种有组织的方法来负责任地管理这些挑战。

下面是一些演讲现场的精彩瞬间：

通过模型评估功能, 可以设置任务来评估测试结果与模型的匹配程度, 确保准确性。

通过引入微小的噪声来保护隐私, 同时仍能进行数据分析和共享。

在重申力量公司的演讲视频中, 有一个重要时刻是介绍了Bedrock 的” 护栏” 功能, 可以过滤大型语言模型的输出, 确保应用程序的安全性。

亚马逊云科技( 亚马逊云科技) 致力于可持续发展, 在设计数据中心时将可持续性视为核心重点, 以最大限度减少环境足迹。

利用亚马逊云科技工具和服务, 可以简化在生成式AI 工作负载中的合规性和审计之旅。

总结

与传统的预测性人工智能/ 机器学习模型相比, 聊天机器人和语言模型等生成式人工智能应用需要采取不同的审计和合规方法。关键区别在于生成式人工智能输出的不可预测和开放性质、广泛的训练数据, 以及可能无意中泄露私人信息或生成有害内容的潜在风险。

亚马逊云科技制定了一个包含8 个领域和110 项控制措施的最佳实践框架, 用于指导在亚马逊云科技上负责任地开发和部署生成式人工智能:1) 准确性, 确保输出正确可靠;2) 公平性, 减少偏见和歧视;3) 隐私性, 保护个人可识别信息;4) 弹性, 使系统能够抵御攻击并快速恢复;5) 负责任的人工智能, 考虑问责制和风险管理;6) 安全性, 防止身体和心理伤害;7) 安全性, 保护数据、访问和资产;8) 可持续性, 最小化环境影响。

为了实施这些最佳实践, 亚马逊云科技提供了诸如Amazon Bedrock 用于模型评估和防护措施、亚马逊云科技 Config 用于合规自动化、CloudTrail 用于数据事件监控, 以及亚马逊云科技 Audit Manager 用于收集证据和映射控制措施等工具。利用这些服务可以简化在亚马逊云科技上使用生成式人工智能实现合规和负责任创新的过程。