ITPub博客

首页 > 人工智能 > 人工智能 > 重新思考使用 Amazon Quick 和 Amazon Bedrock 对 RAG(检索增强生成) 的访问控制

重新思考使用 Amazon Quick 和 Amazon Bedrock 对 RAG(检索增强生成) 的访问控制

人工智能 作者:ITPUB社群 时间:1970-01-01 08:33:46 0 删除 编辑

企业组织正在采用检索增强生成(RAG)来从 Microsoft SharePoint、Google Drive 和 Atlassian Confluence 等公司知识源中获取洞察。然而,这些知识源包含受复杂权限结构管理的敏感信息。确保 AI 生成的答案遵守这些权限是企业 AI 中最困难的挑战之一。

在本文中,我们探讨 Amazon Quick 和 Amazon Bedrock Knowledge Bases 如何通过实时访问控制列表(ACL)强制执行来解决这一挑战,在查询时直接向权威来源验证权限。

业务问题

考虑以下场景:SharePoint 站点所有者为其组织创建了一个知识库。多个部门的团队成员使用 AI 助手从此知识库获取答案。关键要求是每个团队成员只能从他们有权访问的文档中获取 AI 生成的洞察。

这是一个普遍的企业挑战。组织希望在不妨碍其现有安全态势的情况下,实现 AI 驱动洞察的民主化访问。AI 响应中出现一份未经授权的文档,就可能泄露机密战略文档、未发布的财务数据或敏感的人力资源信息。

为什么现有方法存在不足

RAG 访问控制的一种常见方法是使用复制和过滤方法来强制执行文档级权限。其典型工作方式如下:

  • 数据源连接器(例如 SharePoint 连接器)作为定期同步作业的一部分拉取 ACL。

  • ACL 从数据源复制并作为属性存储在索引中。

  • 在查询时,AI 系统将登录用户映射到存储的 ACL 属性,并相应地过滤结果。

虽然这种方法表面上看起来合理,但它有三个根本性的弱点。

问题 1:AI 系统不是权威来源

在此模型中,AI 系统独自负责执行权限控制,但并非权限的权威来源。这要求数据连接器能够跨各种数据源准确复制复杂的、特定于源的 ACL 逻辑。每个数据源都有其独特的权限模型。在数十个连接器之间映射继承层次结构、组成员关系、条件访问策略和拒绝规则,是一项容易出错的工作。

问题 2:过期的权限会造成安全漏洞

通常,数据连接器支持基于拉取的同步,可按需运行或按客户定义的计划运行。这些 AI 解决方案中的 ACL 是上次同步运行时的快照。有些解决方案使用基于事件的更新,但这并非普遍适用。例如,像 Confluence 这样的数据源在组成员关系发生变化时不会发出事件。在两次同步之间,已被撤销访问权限的用户仍可能从他们不应再看到的文档中收到 AI 回答。

问题 3:不断演进的数据源能力

数据源会定期更改或引入新的内容访问控制机制。SharePoint 中的新权限功能或 Google Drive 共享模型的变更,可能会在 ACL 映射逻辑中造成缺口。在连接器更新之前,这可能会暴露内容。

AWS 如何解决此问题:实时 ACL 强制执行

为应对这些挑战,我们在 Amazon Quick 和 Amazon Bedrock Knowledge Bases 现有的检索前 ACL 过滤基础上,额外实现了一层实时 ACL 检查作为安全层。这确保系统在查询时直接向权威来源检查权限,从而强制执行最新的访问控制。这避免了对可能过期或映射错误的 ACL 数据的依赖。

架构概览

下图展示了我们的混合方法,它同时提供语义搜索性能和实时安全能力。

图 1:Amazon Quick 和 Amazon Bedrock Knowledge Bases 的实时 ACL 强制执行架构,结合了检索前过滤(阶段 1)与针对权威来源的实时验证(阶段 2)

工作原理:以 Google Drive 为例

当用户向使用 Google Drive 知识库的 Amazon Quick 智能体提交查询时,系统分两个阶段强制执行访问控制:

阶段 1:检索前过滤

Amazon Quick 对向量索引执行语义搜索,以找到最相关的文档段落。系统应用已存储在索引中的访问控制列表。这会生成一组初步的候选文档。此阶段是必要的,因为对索引中的每个文档进行实时 API(应用程序编程接口) 调用在大规模场景下成本过高。

阶段 2:实时验证

Amazon Quick 通过调用 Google Drive API 实时验证候选文档。它使用管理员提供的服务账号凭证,通过模拟生成特定于用户的访问令牌。Google Drive 维护与每个文档关联的访问控制列表的事实来源。用户无权访问的文档会从检索结果集中排除。只有经过验证和授权的文档段落才会作为上下文传递给大语言模型(LLM(大语言模型))。模型使用这些知识生成响应。

这种两阶段方法在性能与安全性之间取得平衡。它利用缓存的 ACL 提高效率,同时通过实时检查促进正确性。除了 ACL 强制执行外,Amazon Bedrock 还提供负责任的 AI 控制。这些包括用于内容过滤的 Amazon Bedrock Guardrails、用于减少幻觉的接地检查,以及可配置的安全策略,帮助组织负责任地部署生成式 AI 应用程序。

为什么这对您的组织很重要

这种方法带来三个关键优势:

  • 始终最新的权限 – 使用 RAG 产品时,同步周期之间不再存在安全漏洞。如果员工的访问权限被撤销,该更改会在片刻内反映在 AI 响应中,而不是数小时或数天。

  • 扩展的信心 – 组织可以扩展其知识库覆盖范围,因为实时 ACL 检查会针对每个查询向权威来源验证权限,无论数据源如何。

  • 减少运营负担 – 您无需担心同步频率。

客户对此的评价

“当我们开始为组织评估 AI 解决方案时,我们的安全和合规团队明确表示他们的首要任务:确保同事只能看到他们有权访问的信息。这是一项基本要求,但许多平台难以以有意义的方式解决。Amazon Quick 的实时访问控制方法明确回答了这个问题,并展示了在我们整个评估过程中脱颖而出的严谨程度。它让我们的内部审查委员会有信心向前推进,并为我们思考未来 AI 治理的方式奠定了坚实基础。” — Jamahl Wiggins,M365 创新高级专家,Mondelēz International

Mondelēz International 已为四个地区超过 35,000 名员工部署了 Amazon Quick。

结论

在这篇文章中,我们讨论了 Amazon Quick 和 Amazon Bedrock Knowledge Bases 如何实现实时 ACL 强制执行,以解决企业面临的关键安全挑战。双层 ACL 架构在查询时直接与权威来源验证权限。这确保 AI 生成的答案仅包含用户有权访问的内容。

要开始使用,请访问 Amazon Quick 和 Amazon Bedrock Knowledge Bases。


转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:AWS Machine Learning Blog

原创地址:https://aws.amazon.com/blogs/machine-learning/rethinking-access-control-for-rag-with-amazon-quick-and-amazon-bedrock/

原文作者:Amit Choudhary;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1090
  • 访问量
    546880