ITPub博客

首页 > 云计算 > 容器服务 > Kubernetes(容器编排平台) 上的 OpenShell:平台工程师指南

Kubernetes(容器编排平台) 上的 OpenShell:平台工程师指南

容器服务 作者:ITPUB社群 时间:1970-01-01 08:33:46 0 删除 编辑


AI 智能体(Agent(智能体))不只是调用应用程序编程接口(API(应用程序编程接口))。它们会运行 shell、安装软件包、读取文件并建立网络连接。它们常常基于一分钟前刚从互联网上抓取的文本采取行动。因此,每个智能体都是持有真实凭据的不可信代码。

OpenShell 由 NVIDIA 发起,现已成为 CNCF 沙箱项目,是一个用于安全运行此类智能体的运行时。OpenShell 在沙箱中运行每个智能体。沙箱外部的可信监督程序决定智能体可以访问什么。你在 YAML 中声明四类控制:

  • 文件系统:Landlock 限制智能体可以读取或写入的路径。在演示中,/usr、/etc 和其他几个路径为只读,只有 /sandbox、/tmp 和 /dev/null 可写。

  • 进程:在智能体启动之前,沙箱运行时将其降权为无任何能力的非 root 用户,并应用 seccomp。

  • 网络:默认拒绝出站流量。规则可以按二进制文件、主机、端口和 HTTP 方法允许流量。

  • 凭据:智能体只能看到每个 API 密钥的占位符。监督程序会替换为真实密钥,且仅针对提供商允许的端点。

对于 Kubernetes 管理员来说,一个关键点是 OpenShell 不携带自己的调度器。其 Kubernetes 后端使用 Agent Sandbox,即来自 SIG Apps 的 agents.x-k8s.io Sandbox 资源。智能体以 Pod、Service、PVC、Secret 和 NetworkPolicy 的形式出现,这些你都已经知道如何运行。OpenShell 增加了 Kubernetes 看不到的内容:哪个智能体在调用、哪个二进制文件发起了请求,以及某个 POST 是否可以离开集群。

NetworkPolicy 可以表示“此 Pod 可以访问 443 端口上的 api.github.com”。它无法表示“curl 可以读取 issue 但不能创建 issue”。OpenShell 可以做到,并且可以在不重启的情况下在运行中的沙箱上更改该规则。

沙箱如何创建和运行

在 Kubernetes 上,OpenShell 网关拥有每个沙箱,Agent Sandbox 将每个沙箱转换为 Pod。nirmata/demo-openshell 仓库在双节点 kind 集群上运行整个流程,使用 Kubernetes 1.35、Cilium 1.20、Agent Sandbox v1.0.5、OpenShell 0.1.3 和 Kyverno 1.18.2。其 openshell-sandbox-lifecycle.md 文件详细描述了每个步骤。

注意 1:目前,OpenShell 沙箱只能通过调用 Gateway API 创建,而不能通过 Kubernetes API 创建。有一个关于 Kubernetes OpenShellSandbox CRD 和 operator 的未解决问题(openshell/#1719)。

注意 2:每个智能体一个 Supervisor Pod 可提供强隔离,但在大型环境中可能无法很好地扩展。路线图包括灵活的部署选项(参见 RFC 0018)。

Kubernetes 上的 OpenShell · 控制路径与数据路径

网关创建 Kubernetes 对象,Agent Sandbox 创建智能体 Pod。智能体 Pod 自身没有出站网络访问权限。supervisor 建立与它的唯一连接,智能体发出的每个请求都通过该连接返回以进行策略检查。Kyverno 在准入阶段检查 Kubernetes 对象。

  • 准备集群。安装一个同时强制执行入站和出站 NetworkPolicy 的 CNI。演示中用 Cilium 替换 kindnet。然后安装 Agent Sandbox 控制器和 CRD,再安装 OpenShell 网关 Helm chart。

  • 创建沙箱。openshell sandbox create –workspace demo –name policy-demo –from nicolaka/netshoot@sha256:… –no-auto-providers 通过 mTLS 将请求发送到网关。客户端从不与 Kubernetes API 通信。工作区(此处为 demo)对沙箱、策略和日志进行分组。

  • 网关检查并记录请求。它认证调用方,解析镜像、策略、提供方和资源,并拒绝不安全的设置。然后它在 Provisioning 阶段保存一条沙箱记录。该记录(而非 Pod)是事实来源。

  • 网络策略优先。Kubernetes 驱动在命名空间中创建两个 NetworkPolicy,如果已存在则进行检查。一个覆盖工作负载 Pod:完全无出站流量,入站流量仅来自 supervisor 的 TCP 5500。另一个覆盖 supervisor Pod。之后驱动才创建处于挂起状态的 Sandbox 资源。

  • Agent Sandbox 创建工作负载。控制器创建工作负载 Pod 和用于 /sandbox 的 PVC。调度门控会阻止 Pod 启动。

  • OpenShell 检查已准入的 Pod。准入后,驱动回读 Pod。它检查非 root UID 和 GID、无新增 capabilities、RuntimeDefault seccomp、无主机命名空间、无 ServiceAccount token,以及预期的标签和卷。如果准入 webhook 更改了其中任何一项,创建就会失败。

  • 创建 supervisor。驱动创建一个 supervisor Pod、一个位于工作负载 Pod 端口 5500 前的 Service、此沙箱的 TLS 和 bootstrap Secret,以及 supervisor 的短期 token。工作负载永远不会获得网关凭据。然后移除调度门控。

  • supervisor 连接。supervisor 使用与命名空间、Sandbox UID、自身 Pod UID 和运行时 generation 绑定的身份向网关认证。它接收策略并通过 Service 连接到工作负载。在工作负载内部,沙箱运行时应用文件系统、进程、套接字和 DNS 控制。在确认这些控制之前,智能体的命令不会启动。

  • 运行和更新。智能体的每个出站请求都发往 supervisor,supervisor 在打开上游连接之前检查目标、端口、调用二进制文件和 HTTP 请求。Exec、SSH、日志和文件同步也通过 supervisor 进行。openshell policy update 加载新的策略版本并等待沙箱确认,无需重启。在演示中,curl 最初被阻止。更新后,它可以读取 api.github.com,但对 /issues 的 POST 返回 policy_denied。openshell logs policy-demo –source sandbox 显示每个允许和拒绝的请求。

  • 停止、启动和删除。停止会挂起 Sandbox 并移除工作负载 Pod,但保留 PVC。启动会创建新的运行时 generation 并再次运行 Pod 检查。删除会移除 Sandbox,owner references 会清理其 Pod、Service、Secret 和 PVC。两个命名空间 NetworkPolicy 保留。如果创建中途失败,驱动会回滚。

OpenShell 仅检查其保持安全所需的 Pod 设置。运行哪些镜像、沙箱可以变得多大、获得哪些凭据,以及谁可以更改 OpenShell 的 RBAC,都留给平台团队决定。

OpenShell 与 Agent Substrate 对比

Agent Substrate 是另一个为智能体提供沙箱化执行的 CNCF 项目。两个项目均于 2026 年 9 月申请并被接受进入 CNCF Sandbox(#522 和 #523)。两者都在 Kubernetes 上为每个智能体运行自己的沙箱,但构建方式不同。OpenShell 使用 SIG Apps 的 Agent Sandbox 项目。Substrate 有自己的调度器、控制器和沙箱运行时。

Lin Sun 的 CNCF 文章《Why sandboxing your agent is not enough》为 Substrate 提出了理由:“沙箱化你的智能体是必要的,但不充分。”Agent Sandbox 关注安全地运行智能体。Substrate 关注以低成本大规模安全地运行它们,通过挂起空闲智能体而不是为每个智能体分配一个 Pod。

Agent Substrate 并非设计为直接使用,而是需要像 Agent Executor、Kagent 这样的编排层,或者未来可能使用 OpenShell(详见下文)。

|  | OpenShell | Agent Substrate |
| --- | --- | --- |
| 来源 | NVIDIA | Google |
| CNCF Sandbox | 2026 年 9 月 26 日投票通过 | 2026 年 9 月 28 日投票通过 |
| 主要问题 | 此智能体可以做什么? | 如何以低成本运行数千个大部分空闲的智能体? |
| 工作单元 | 每个智能体一个沙箱:一个 Sandbox、一个工作负载 Pod 和一个 supervisor Pod | 一个 actor:一个身份加一个快照。活跃时,它在共享 worker Pod 内的自己的沙箱中运行。Worker 设计为容纳多个 actor(–max-actors 默认为 1,000),但自动扩缩容演示指出目前每个 worker 容纳一个 actor |
| Kubernetes 构建块 | Agent Sandbox。网关创建 agents.x-k8s.io Sandbox 资源,Agent Sandbox 控制器协调它们 | 自己的 WorkerPool CRD(ate.dev),atecontroller 将其转换为 worker Pod 的 Deployment。它不使用 Agent Sandbox |
| 路由 | 通过网关和沙箱的 supervisor | 一个 ate-target-actor 头。路由器在需要时恢复 actor,atunnel 将请求传递到其沙箱。Actor 没有 Pod IP |
| 凭据 | supervisor 仅在提供方允许的端点处将占位符替换为真实密钥 | 出口网关将 ate-secret:// 占位符头替换为真实凭据。Actor 和快照从不持有密钥 |
| 身份 | supervisor 身份绑定到命名空间、Sandbox UID、Pod UID 和运行时 generation | 每个 actor 一个 SPIFFE X.509 证书,有效期 1 小时,所有组件之间使用 mTLS。OpenFGA 访问策略正在进行中 |
| 状态 | 一个 /sandbox PVC,在停止和启动后保留 | 对象存储中的 RAM 和文件系统快照。挂起和恢复耗时不到一秒;目标是 p95 达到 100 毫秒 |
| 自动扩缩容 | 网关的 HPA(多个副本需要外部 PostgreSQL)和节点自动扩缩器。Sandbox 没有 /scale 子资源,因此 HPA、KEDA 和 VPA 无法以沙箱为目标。每个新智能体都是一次网关 API 调用 | WorkerPool 有 /scale 子资源,因此 HPA 可以根据 worker 的满载程度进行扩缩容(演示仅在 kind 上运行),外加节点自动扩缩器。池满时请求会等待 |
| 成熟度 | v0.1.x | Pre-1.0。 |

对 Kubernetes 集群管理员最重要的三个领域:

  • 策略的详细程度。OpenShell 在服务于一个沙箱的 supervisor 处检查每个请求。它可以允许 curl 读取 GitHub issues 并阻止 curl 创建 issue。Substrate 在共享出口网关处按 actor 和按目标主机检查流量。正在进行原生支持 OpenFGA 策略并允许外部策略的工作。

  • Kubernetes 能看到什么。每个 OpenShell 沙箱是一组 Kubernetes 对象,因此 RBAC、Kyverno、审计日志和 kubectl 都可以对其工作。Substrate 将 actor、模板和出口策略保存在自己的 API 中,由 PostgreSQL 支持,因此 Kubernetes API 服务器不在请求路径上。准入控制能看到 Substrate 的 worker 池,但看不到智能体或其出口策略。

  • 隔离。Substrate 要求每个 actor 使用 gVisor 或 Cloud Hypervisor 沙箱;不支持普通容器。这正是其快照功能得以实现的原因。OpenShell 运行带有 Landlock 和 seccomp 的标准容器,你可以为不受信任的智能体要求更强的 RuntimeClass。

扩展性由此而来。使用 OpenShell 时,由你的应用决定运行多少个沙箱,并在创建每个沙箱时设定其规模,正如演示中通过 Kyverno 默认值和上限所做的那样。使用 Substrate 时,HPA 会扩缩工作池,而智能体数量与 Pod 数量相互独立。

目前,请根据你的工作负载来选择。如果你有许多突发性强、大部分时间空闲的智能体(例如每个用户一个助手),并且每个智能体的成本最重要,请考虑 Substrate。如果你的智能体持有真实凭据并访问生产系统,且你需要对 Kubernetes 对象进行逐请求控制和策略管理,请考虑 OpenShell。

许多大型企业最终可能需要混合方案,未来你或许可以同时使用两者。OpenShell 的 RFC 0012(于 2026 年 9 月 10 日合并)将隔离变为可插拔的隔离后端,与执行策略的 supervisor 分离。团队已提议构建 Substrate 后端(NVIDIA/OpenShell#3362)。OpenShell 将保留策略、凭据和审计控制,而 Substrate 将增加 gVisor 隔离以及保留内存的挂起和恢复功能。

一个阻塞问题已修复。#3366(于 9 月 21 日合并)意味着共享契约不再要求 Landlock 或 seccomp 证据,因此 gVisor 后端可以提供自己的证据。仍有两个部分未解决:用于在独立进程中运行的后端的版本化传输,以及保留内存的生命周期操作。截至 10 月 11 日,该 issue 仍处于开放状态。一位贡献者已 +1 并询问维护者是否会接受,但尚无维护者回复。

如果被接受,你将获得 OpenShell 的逐请求策略与 Substrate 的密度。在此之前,对管理员而言的区别在于策略运行的位置。使用 OpenShell 时,Kyverno 检查沙箱本身。使用 Substrate 时,Kyverno 检查工作池,而每个智能体的策略在 Substrate 自己的 API 中设置。

Kyverno 增加了什么

Kubernetes 设置决定沙箱 Pod 的镜像、权限、资源、凭据和网络规则。OpenShell 自身会检查其中一些(见上文第 6 步)。RBAC 和 Kyverno 或其他 Kubernetes 策略引擎有助于覆盖其余部分。

从 RBAC 开始。如果只有网关的 ServiceAccount 和 Agent Sandbox 控制器可以创建 Sandbox 资源,其他用户就无法绕过网关。集群管理员仍然可以。RBAC 决定谁可以对哪种资源类型使用哪个动词。它不检查请求内容,也无法添加默认值。因此以下问题仍然存在:

  • 智能体可以运行哪些镜像?

  • 沙箱最大能有多大?

  • 智能体能否接收原始 API 密钥?

  • 是否有人可以向 OpenShell Role 添加通配符权限,或开放工作负载 NetworkPolicy?

Kyverno 在准入时对每个向沙箱命名空间发送请求的用户和 ServiceAccount 检查这些内容,包括集群管理员和网关。演示中的 kyverno-demo.sh 运行六项 RBAC 无法完成的检查。然后它通过 OpenShell 创建一个通过所有检查的沙箱:

| 控制项 | 尝试 | Kyverno 策略 | 结果 |
| --- | --- | --- | --- |
| Pod 安全 | 一个带有 privileged: true 容器的 Sandbox | enforce-sandbox-pod-security | 拒绝:“每个沙箱容器必须以非 root 运行、丢弃所有能力并禁用权限提升。” |
| RBAC | 一个名为 openshell-* 的 Role,授予对 * 资源的 * 动词 | restrict-openshell-rbac | 拒绝:“OpenShell RBAC 规则不得包含通配符。” |
| 网络 | 一个允许 openshell-sandbox-workloads NetworkPolicy 允许所有出口的补丁 | verify-openshell-network-boundary | 拒绝:“……不得允许直接的工作负载出口。” |
| 供应链 | 一个使用标签 nicolaka/netshoot:v0.13 的 Sandbox | enforce-sandbox-image-hygiene | 拒绝:“沙箱镜像必须使用不可变的 sha256 摘要引用。” |
| 资源 | 一个未设置资源的 Sandbox,然后一个请求 8 CPU 和 16Gi 内存的 Sandbox | default-sandbox-resources, enforce-sandbox-resource-bounds | 第一个获得默认值(100m CPU 请求)。第二个被拒绝:“最多 4 CPU、8Gi 内存和 20Gi 临时存储” |
| 凭据 | 一个使用 envFrom 加载 Kubernetes Secret 的 Sandbox | protect-sandbox-credentials | 拒绝:“请使用 OpenShell providers,而不是注入 Kubernetes Secrets……” |

通过 OpenShell 创建并使用摘要固定镜像的沙箱会被准入,并保留 Kyverno 添加的 100m CPU 请求。所有七个策略均以 Enforce 模式运行。六个是 ValidatingPolicy 资源,一个是 MutatingPolicy,全部用 CEL 编写。它们匹配 Sandbox 资源、名为 openshell-* 的 Roles 和 ClusterRoles,以及 openshell-sandbox-workloads NetworkPolicy。

这些策略检查的是请求,而不是发送方,因此它们同样适用于网关。即使网关被攻破,也无法通过准入控制推送特权、未固定或超大的 Sandbox。然而,网关的 ServiceAccount 仍然可以直接在 sandbox 命名空间中创建 Pod 和 NetworkPolicy。在生产环境中,应将策略扩展到 Pod 以及任何选择 OpenShell 工作负载的 NetworkPolicy。

该演示省略了另外四类策略,因为每一类都需要签名密钥或其他前置设置:

  • 镜像验证:要求网关、supervisor、运行时和智能体镜像具备 Cosign 签名、SBOM 与来源证明,以及漏洞检查。

  • 运行时类:对不受信任的智能体要求使用 RuntimeClass,例如 gVisor 或 Kata。

  • 工作区预算:限制每个工作区的 sandbox 数量、生命周期和 GPU 数量。

  • 清理:使用 Kyverno 清理策略删除空闲 sandbox,并跳过处于法律保留状态的 sandbox。

准入控制只能看到 OpenShell 创建的智能体。团队自己的 Deployment 直接调用 api.openai.com 时,永远不会经过网关或 supervisor。针对这种情况,Nirmata 的 Runtime for Kyverno 或其他内核监控器以 DaemonSet 方式运行,并将 eBPF 程序附加到 RuntimePolicy 所选择的 Pod 上。它监视 exec、文件打开、网络和 DNS 活动。在监控模式下,它会报告未经任何人批准的 AI 工具:诸如 claude 或 ollama 之类的智能体 CLI、stdio MCP 服务器、*.gguf 模型文件,以及对模型提供商主机名的 DNS 查询。它将这些发现以 OpenReport 的形式写入 Pod 所在命名空间。

未来的集成可以将 Kyverno 策略引入 OpenShell Supervisor,以实现对 sandbox 操作允许和拒绝决策的细粒度控制。

结语

智能体以及集成了 LLM 的应用程序正成为 Kubernetes 上的重要工作负载。管理员将被要求像对待其他工作负载一样运行它们:隔离、审计并置于策略管控之下。OpenShell 构建在 Agent Sandbox 之上,而不是绕开它,并增加了 Kubernetes 对象无法表达的按二进制、按请求的控制。

OpenShell 检查它所依赖的 Pod 设置,其余部分留给你处理。这种关注点分离与 CNCF 生态系统配合良好。其余都是 Kubernetes 对象,准入控制能很好地处理这些对象。使用 RBAC 控制谁可以创建 sandbox。使用 Kyverno 控制这些 sandbox 可以包含什么,以及其他 Kubernetes 配置,从演示中的七个策略开始。OpenShell 控制智能体,Kyverno 控制其余部分。

git clone https://github.com/nirmata/demo-openshell
cd demo-openshell
./scripts/setup.sh && ./scripts/install-cli.sh && ./scripts/verify.sh
./scripts/demo.sh           # OpenShell L7 policy
./scripts/kyverno-demo.sh   # Kyverno admission policies
./scripts/cleanup.sh

你需要 Docker、kind、kubectl、Helm、curl、SSH 和 nc。然后在你自己的 OpenShell 集群上尝试这些策略,并告诉我们哪里出了问题。

来源

  • OpenShell 架构与 Kubernetes 设置

  • OpenShell 0.1.0 升级说明(移除 inference.local)

  • CNCF 项目页面:OpenShell、Sandbox 申请 #522、onboarding issue #535

  • CNCF 项目页面:Agent Substrate、Sandbox 申请与投票结果 #523

  • GitHub 上的 agent-substrate/substrate 及其 WorkerPool 自动扩缩容演示

  • 关于 Agent Substrate(GKE 文档)

  • 为什么仅对智能体进行沙箱隔离还不够(Lin Sun,CNCF 大使文章,2026 年 7 月 7 日)

  • OpenShell RFC 0012:隔离后端接口(#2048)、Agent Substrate 作为委托隔离后端(#3362)、后端中立确认(#3366)

  • Agent Sandbox

  • Runtime for Kyverno(Nirmata)

  • nirmata/demo-openshell


转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:CNCF Blog

原创地址:https://www.cncf.io/blog/2026/11/04/openshell-on-kubernetes-a-guide-for-platform-engineers/

原文作者:Jim Bugwadia, Nirmata;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1307
  • 访问量
    574380