我们如何教会机器人组装 GB300 测试托盘，以及这让我们对机器人学习、机械智能和传统工程有了哪些认识

NVIDIA Grace Blackwell GB300 超级芯片是现代基础模型 AI 训练和推理的引擎。然而，组装 GB300 托盘的过程需要全球各地工厂中熟练的体力劳动。NVIDIA 西雅图机器人实验室 (SRL) 与 NVIDIA Isaac 工程团队合作，提出了一个核心问题：我们能否构建智能机器人来组装如此复杂的系统？

答案是肯定的，但道路充满挑战。让机器人组装 GB300 托盘是 SRL 作为一家高产研究实验室九年来攻克的最困难的问题之一。这个问题也挑战了我们对端到端学习在何处最有效、模块化技术栈在何处可能更有效的假设。

当前问题：莫拉维克悖论重现

我们专注于组装 GB300 测试托盘，这些托盘用于在发货和部署之前验证 GB300 计算模块的功能和性能。根据 NVIDIA 运营团队和 GB300 合同制造商富士康的建议，我们聚焦于两项关键任务：(1) 母线组装和 (2) 多连接器插入。

在母线组装中，必须抓取一根长而重的母线（即传输大电流的金属条），将其运送到托盘，插入，并在 16 个位置拧紧螺丝。还必须插入和移除夹具和夹钳。在多连接器插入中，必须从托盘中提起两个大连接器和两个小连接器（安装在电缆上的电气连接器），并将其插入间隙狭窄的插座中。

真实世界的实验装置如下所示。

熟练的工厂工人能够可靠且流畅地完成这两项任务，没有明显的心理负担。然而，这是莫拉维克悖论的又一个例证——这类任务所需的灵巧性可能极难实现自动化。

第一个关键挑战是不确定性。零件的几何形状、外观和动力学特性并非精确已知，初始零件位姿可能差异很大。此外，电气连接器连接在电缆上，电缆沿其整个长度会发生形变，存在显著的制造差异，甚至会因塑性变形和疲劳而发生机械变化。

在许多制造操作中，不确定性通过固定自动化来降低，即精心控制环境。夹具和适配器被设计为将零件约束到亚毫米级精度，机器人可以作为重复运动机器运行。在 GB300 测试托盘组装中，不确定性必须通过柔性自动化来解决，因为快速的设计周期和低产量使固定自动化不可行。机器人必须具有内在的自适应性，并对不确定性具有鲁棒性。鉴于 AI 基础设施需求的不断增长，这一范式是 NVIDIA 的战略优先事项。

第二个关键挑战是性能。在机器人研究中，50%-60% 的成功率通常就足够了，80%-90% 的成功率就足以宣称任务已解决。循环时间、运动平滑度和轻柔操作通常是次要的。此外，统计严谨性往往不足；每个任务通常执行 10 到 20 次试验，而合理的置信区间可能需要更多的评估。

我们的性能要求是与 NVIDIA 运营团队和富士康直接合作确定的，以确保“已解决”真正意味着已解决。截至本文发表之日，我们正在迅速接近他们的阈值。

技术策略：在正确的时间使用正确的工具

在机器人研究中，技术创新备受推崇；这一传统促进了发明创造，但几乎没有激励去优化可能实现更高性能的基线方法。因此，人们很容易在读完一篇研究论文后，却不理解为什么先前的方法行不通。

我们在 GB300 测试托盘组装中的策略是在正确的时间使用正确的工具。对于每个子问题，我们首先考虑（并且通常实现）经典基线方法。当这些方法不够用时，我们探索了模仿学习、基于仿真的强化学习（RL）配合仿真到现实的迁移、真实世界 RL 以及视觉-语言-动作（VLA）模型。这一递进过程使我们能够识别每种方法的优势和劣势，并为创新和复杂性提供依据。

我们现在详细讨论母线组装和多连接器插入；我们的目标是让这些任务成为其他研究和工程团队解决自身真实世界操作问题的案例研究。

组装母线：重新审视经典方法

母线组装包括以下步骤：

• 抓取限位夹具（即用于辅助组装的特定夹具）并将其插入托盘

• 抓取母线（带有附接夹具）并将其插入托盘

• 拧入 16 颗螺丝以将母线固定到托盘

• 释放并移除附接在母线上的夹具

• 移除限位夹具

我们的初始条件与制造环境一致。限位夹具和母线（带有附接夹具）最初放置在机器人旁边平坦表面上不受约束的位置，螺丝最初位于母线内。

制造商要求我们达到 99.5% 的成功率，并在不超过熟练工人两倍的时间内完成任务（在本例中，不超过 124 秒）。不允许与托盘发生意外碰撞，因为即使是轻微损坏也可能成为丢弃整个系统的理由。

我们通过实现一个经典流水线（“老派工程”）开始工作，该流水线由独立的感知、规划和控制模块组成，并预期之后转向端到端学习。事实证明，经典流水线非常有效，无需转向。我们解决方案的模块化结构也使系统易于调试和调优，并可分布在多个机器人手臂上。

在感知方面，我们最初使用 NVIDIA FoundationPose，这是一个通用模型，可根据物体的网格、RGB 图像和深度图像估计物体的 6D 姿态。然而，当物体不够可见时，估计值可能会偏差 90 或 180 度。因此，我们扩展了流水线以摄取多个视图，为每个视图生成一个估计值，并选择置信度分数更高的估计值，从而减轻了错误。（注：我们后来过渡到一个名为 DOPER 的专用模型，稍后描述。）

在规划方面，我们使用自由空间中的快速路点规划器来缩短周期时间，并使用基于 Lissajous 曲线和其他简单路径的操作原语来对齐可能初始未对齐的零件。

为了实现控制，我们实现了一个高性能阻抗控制器，以确保在插入过程中施加足够力的同时实现轻柔且稳定的接触。现代学习流程通常实现尽可能简单的控制器，而我们的解决方案利用了自动阻尼设计和惯性补偿。我们认为高性能控制是机器人学习中一个强大但未被充分利用的工具。

为了缩短周期时间，我们将工作分配给三个机械臂。一个 Flexiv Rizon 4S 放置相机进行位姿估计；第二个 Flexiv Rizon 4S 插入限位夹具和母线，随后移除母线夹和夹具；一个 Universal Robots UR10e 使用 OnRobot Screwdriver 执行 16 次拧螺丝操作。经制造商同意，母线夹被轻微修改，以便单个机械臂可以将其解锁。

我们的母线装配解决方案实现了超过 95% 的成功率，我们正在积极将其推向更高水平。剩余的失败主要来自抓取错误和插入过程中的手内滑动。限位夹具和母线子任务满足了其周期时间要求；然而，拧螺丝没有满足，导致完整周期时间为 160 秒，而目标是 124 秒。顺序的、特定设备的螺丝刀操作是主要瓶颈，为优化留下了直接的路径。

插曲 1：基础设施的非凡有效性

在母线装配等具有挑战性的问题上，精心设计的真实世界机器人基础设施使我们能够快速开发、部署和检查我们的系统。

第一个关键基础设施是机器人服务。正如机器人专家所知，尝试多个库常常会陷入依赖地狱。我们将库转换为可独立部署的 Web 服务，可在边缘、本地或云端运行。这些服务打包为带有 FastAPI/HTTP 端点的 Docker 容器；研究人员可以使用轻量级 Python 客户端来组合来自不同语言和框架的服务。我们使用 cuRobo 服务进行运动规划，使用 FoundationPose 服务进行位姿估计，使用 FoundationStereo 服务进行深度估计，等等。

第二个关键基础设施是任务与智能体生命周期编排系统（TALOS）。TALOS 使用 ros2_control 作为骨干，并提供运动规划器、操作原语和高性能控制器（阻抗、导纳和力）。该库可以无缝地编排这些组件和学习策略，并以高于 500 Hz 的实时循环执行控制器。TALOS 支持 Franka FR3、Flexiv Rizon 4S、Universal Robots UR10e 和 SO-101。我们将该库用于所有真实世界机器人应用，包括动觉示教、遥操作、双臂协调和运动规划。

TALOS 也通过标准 Web 接口暴露。因此，编码智能体可以访问机器人服务和物理机器人，使智能体能够在开发和部署期间组合感知、规划和控制能力。我们的思路与 Anthropic 的模型硬件标准（MHS）一致，这是一个模型无关的规范，用于使物理设备可被 AI 智能体发现并安全操作，我们的开源 DROID+ 项目体现了这种方法。

借助我们的机器人基础设施以及在母线装配方面的进展，我们继续推进第二个关键任务：多连接器插入。

多连接器插入：“逆向苦涩教训”

多连接器插入可以分解为以下步骤。对于每个电气连接器（2 个大型和 2 个小型）：

• 抓住连接的电缆，将电气连接器从板上提起

• 抓住电缆末端的连接器

• 将连接器插入板上对应的插座

我们的初始条件再次与制造环境保持一致。四根线缆的一端均连接到 GB300 板，线缆没有严重缠绕，线缆上的连接器可以任意放置在板上。

制造商再次要求我们达到至少 99.5% 的成功率，并在不超过熟练人工操作两倍的时间内完成多连接器插入任务（在本例中，四根线缆全部插入不超过 72 秒）。与之前一样，不允许与托盘发生意外碰撞。

尽管任务描述起来很直接，但执行多连接器插入极具挑战性，原因有三：(1) 线缆形状不规则、可发生塑性变形且容易磨损，(2) 连接器很小且几乎没有纹理，(3) 连接器与其插座间隙很小，几乎没有容错空间。

我们再次从实现经典流水线开始。为了抓取每根线缆，我们使用 Segment Anything Model ( SAM3 ) 在俯视 RGB 图像的预定义区域内分割线缆。我们为每个掩码拟合中心线，命令机器人以指定高度抓取其中点，并命令机器人向上移动以露出连接器。

这种简单方法几乎没有观察到失败。

抓取露出的连接器要困难得多。使用通用模型进行位姿估计效果不佳；连接器尺寸小、外观无纹理，且与线缆的连接区域多变，导致较大误差。因此，运动和抓取规划不可靠。我们于是转向端到端学习感知、运动和抓取。

这条路径也走不通。使用动作分块变换器 (ACT) 或扩散策略的行为克隆成功率较低；这些方法受益于大规模高质量数据，而我们难以获取这些数据。不同样本的线缆形状和刚度差异显著，且这些专用线缆数量很少。每根线缆只能被抓取和操作有限次数，之后就会永久变形，这不再代表部署条件。

我们将这种情况视为“逆向苦涩教训”：在某些现实场景中，由于物理、财务和物流现象，规模化可能难以实现。利用领域知识且需要较少交互数据的经典方法再次值得研究。

我们回到位姿估计，但采用了一组不同的要求：专注于感兴趣的部件，避免依赖准确或独特的视觉纹理，并利用真实世界数据快速改进。我们与 NVIDIA Research 的同事合作，开发了一个名为 Deep Object Pose Estimation Revisited (DOPER) 的感知框架。DOPER 受到 NVIDIA Deep Object Pose Estimation (DOPE) 的启发，后者是最早研究使用大规模合成数据实现真实世界感知的论文之一。

在仿真中，首先通过输入特定部件的 CAD 模型、从不同视角渲染 RGB 图像，并通过对部件凸包进行最远点采样自动生成关键点标签（并按点的可见性和显著性进行过滤）来训练 DOPER 模型。然后训练一个快速、轻量级的卷积网络，从 RGB 图像中预测边界框、分割掩码和关键点标签。

在真实世界中，捕获部件的 3D 神经重建。预训练的 DOPER 模型在神经重建的不同视角上运行，并使用随机背景生成伪标签；低置信度预测通过将高置信度预测投影到感兴趣的视角来进行校正。

然后在这些标签上微调 DOPER 模型。最后，在推理时，DOPER 模型在感兴趣的场景中运行，并从预测的关键点中提取位姿估计。该过程可以以 30 Hz 或更快的相机帧率执行。

图 7. [左] 由 DC-SCI 连接器神经重建渲染的动画，用于微调 DOPER 模型。[右] 推理时的 DOPER 模型

DOPER 重新点燃了我们对姿态估计潜力的信心。该框架使我们能够训练专门针对连接器的精确姿态估计器，并实时部署这些模型。利用生成的估计结果，一个机械臂可以将每个连接器平移和旋转到第二个机械臂能够可靠抓取的姿态。

插曲 2：机械设计作为不确定性降低手段

如前所述，由于快速的设计周期和低产量，GB300 测试托盘组装需要灵活的自动化，其中机器人具有适应性并能应对零件和姿态的不确定性。同时，灵活系统仍然可以从固定自动化中的创新中受益，例如使用机械设计来降低不确定性。

不幸的是，专注于固定自动化的机电一体化研究人员和专注于灵活自动化的计算机科学家长期以来一直在不同的领域运作。我们反而主张采用全栈方法，全面考虑硬件、软件和 AI 研究。

在连接器抓取过程中，夹爪闭合时的接触可能会将连接器扰动到意外或不稳定的姿态。尽管触觉传感、重新抓取和/或手内操作可以是有效的解决方案，但在我们的情况下，最直接且周期时间最优的解决方案仅仅是更好的机械设计。

我们设计了两套多用途夹爪手指，使我们的机器人能够抓取母线、限位夹具、电缆以及大小连接器。

手指几何形状在接触期间约束了零件运动，使抓取姿态更加可重复。这些手指几乎可以在任何爱好级 3D 打印机上复制。

最后阶段：接触运动

在抓取每个连接器后，多连接器插入的最后一步是将连接器插入 GB300 板上对应的插座。与插入母线相比，由于导电引脚精细、间隙紧凑以及接触期间导向面极少，插入连接器更具挑战性。

在此类条件下，经典方法已知会面临困难。插座几何形状的变化、机器人控制中的累积误差或不当的插入力曲线可能导致连接器卡在插座内、错过插座，甚至与周围组件碰撞。柔顺控制器有帮助，但对大空间误差缺乏鲁棒性，并且需要针对每个任务仔细调参。

因此我们转向基于学习的解决方案。基于我们的 sim-to-real 研究路线（1、2、3、4、5），我们使用无模型 RL 在 NVIDIA Isaac Lab 中训练策略，能够从广泛的初始姿态插入电气连接器，并将这些策略部署到现实世界中。

视频 9-12。在 Isaac Lab 中对连接器插入策略进行并行化强化学习训练。（左）DC-SCI 和 MCIO 连接器的部分训练策略。（右）完全训练的策略

仿真到现实的迁移在真实世界中对大型连接器实现了高成功率。然而，该方法对小型连接器效果较差。策略消耗位姿估计，即使微小的估计误差也可能导致连接器在插座边缘滑动。即使对于大型连接器，可靠性仍未达到工业标准。因此我们得出了最终的技术结论：真实世界数据无可替代。

更准确地说，大多数真实世界部署旨在实现最优性能，例如最大可靠性、最大速度或最小干预率。由于仿真与真实世界之间始终存在不匹配，在仿真中训练的策略可能容易次优。因此，真实世界部署可以从直接利用真实世界数据学习中受益，理想情况下尽可能通过在线交互进行学习。

在我们的案例中，我们通过扩展先前的工作 SPARR 改进了插入策略。在 SPARR 中，首先在仿真中通过强化学习训练基于状态的基础策略，然后在真实世界中通过强化学习训练基于图像的残差策略。基础策略的 rollout 为真实世界学习提供引导，以促进高效学习和安全探索。由于连接器在插入过程中被视觉遮挡，我们使用力-力矩输入而非图像来训练残差策略。

我们最终的多连接器插入解决方案整合了线缆抓取、连接器抓取和连接器插入的方法，从头到尾组装所有四个连接器。系统实现了 90-95% 的成功率；剩余失败主要来自连接器抓取过程中的多臂协调问题。每个线缆的平均周期时间为 40 秒；主要瓶颈是抓取前对暴露连接器位姿的缓慢、离散调整。尽管性能尚未达到部署要求，但持续的努力正在继续缩小差距。

为什么重要：迈向良性循环

自动化 GB300 系统及其后续产品的生产和测试对 NVIDIA 和 AI 生态系统具有不可估量的价值，因为这些系统是基础模型的计算引擎。更长远来看，用智能自动化补充熟练劳动力对国内制造业至关重要：到 2033 年，可能有 190 万个制造业岗位空缺。从长远来看，AI 硬件的机器人组装可以实现更宏大的愿景：一个在人类监督下，AI 驱动的机器人组装 AI 硬件，进而训练下一代 AI 驱动机器人的未来，形成安全且良性的循环。

Blackwell 的寓言：故事的寓意

攻克 GB300 测试托盘组装是我们进行过的最有启发性的研究实践之一，强化了任务驱动研究的价值。

在研究中，抽象地发明技术方法是一种常见且有价值的实践，因为随着应用变得清晰，它可能在多年后带来回报。我们在 GB300 组装方面的经验为一种互补方法提供了依据：识别一个具有重大现实价值且近乎不可能的问题，暴露现有方法的能力和局限，并在没有明确路径的地方进行创新。

我们的工作还教会了我们七个关键技术教训：

• 位姿估计可以非常有效。在项目开始时，我们既不相信这个结论，甚至不希望它是真的。然而，我们的 DOPER 框架为工业零件生成了快速且准确的位姿估计模型。关键在于以修改后的需求重新审视位姿估计：训练专家模型、避免依赖准确或独特的视觉纹理，以及支持在真实世界数据上快速微调。

• 机械设计可以有效地减少不确定性。这个结论对自动化社区来说是显而易见的，但在机器人学习中可能不那么明显。3D 打印夹爪手指的机械设计使我们能够可靠地抓取夹具、线缆和固定装置，而无需通过触觉传感器、重新抓取机制或手内操作引入复杂性。机器人学是一个全栈问题，最佳结果可以通过人工智慧和机械智能共同实现。

• 高性能控制不应被忽视。研究人员数十年来一直致力于开发高性能机器人控制器，但大多数机器人学习论文实现的是尽可能简单的控制律。具有自动阻尼设计和惯性补偿的高性能控制器可以确保平滑的自由空间运动，促进轻柔稳定的接触交互，并提高通过强化学习习得行为的成功率和周期时间。

• 规模瓶颈型场景应进一步研究。The Bitter Lesson 得到了显著的经验证据支持；然而，在我们称之为“逆 bitter lesson”的情况下，当交互数据稀缺、零件难以仿真、替换成本高昂或重复使用会降解物体时，规模可能难以处理。经典方法仍然可以很强大，基于学习的研究可能受益于进一步强调结构和样本效率。

• 周期时间是与成功率同等重要的对应指标。典型的机器人学习系统可能结合 1 kHz 本体感觉、100 Hz 策略、30 Hz 相机流和 5 Hz 夹爪控制，具有不同的实时保证。某些子任务可能难以或无法并行化。提高速度必须保持控制精度，确保人类和机器人安全，并避免零件损坏。研究人员应将周期时间和成功率视为同等优先。

• 研究基础设施加速开发和部署。在我们的工作中，机器人服务和 TALOS 对于避免依赖冲突、使不同规划器和控制器可互换以及跨机器人转移代码至关重要。初创公司和大型企业可能会深入投资基础设施，但研究实验室通常不会；社区为开发研究定制基础设施所做的努力可能会加速该领域的进展。

• 合成数据和真实世界数据都发挥着关键作用。DOPER 使用大规模、特定零件的合成数据来启动训练过程，我们的连接器插入方法利用基于仿真的强化学习来预训练策略。尽管如此，真实世界数据仍然被证明是必不可少的。工业机器人技术的严格要求不能承受性能损失，必须结合合成数据和真实世界数据来交付真实世界的价值。

弥合实验室与工厂之间的差距

在机器人领域，研究成功的真正衡量标准是能否转化到现实世界中。我们的下一个目标是将我们的技术部署到 NVIDIA 合约制造商生产 AI 硬件的工厂中；我们的目标是达到或超越其性能要求，从而加速全球最先进计算设备的生产。

然而，现实世界部署伴随着显著的挑战。首要问题如下：即使机器人解决方案在实验室试验中表现良好，如何在其部署前保证性能？工厂将具有不同的环境条件和工作单元条件，而处理域不匹配是基于学习的机器人几乎普遍存在的弱点。真实生产线还会受到产品设计变更的影响，这是另一个在实验室中无法观察到的自由度。

此外，即使系统足够鲁棒或具有足够的适应性，其性能也必须经过验证。要在单侧 95% 置信界下支持至少 99.5% 的成功概率，必须在至少 598 次试验中观察到零失败。在我们的案例中，由于磨损，此类评估可能需要数百个重复的 GB300 组件。准确模拟几何和机械上不规则的组件仍然是一个未解决的挑战，尽管物理仿真和交互式世界模型方面最近取得了进展。

我们建议从自动驾驶汽车（AV）行业汲取灵感。在 AV 中，离线训练和在线部署之间的界限是模糊的：最初，人类仔细监督并纠正车辆行为，但随着时间的推移，汽车变得越来越自主。类似地，机器人学习系统应该在性能强大但不完美的情况下进行部署。人类或人类监督的智能体应无缝记录干预，系统应利用这些干预来持续改进。随着时间的推移，在真实世界部署条件下将收集到足够的数据，从而为性能提供强有力的统计保证。

现实世界部署的第二个关键挑战是，在部署机器人解决方案解决特定任务后，如何让下一个任务的解决更加省力？这个目标可以用两个词来概括：泛化与适应性。

泛化的一种强形式是，在一组任务上训练的机器人能够很好地解决新任务。如果一个机器人知道如何将定位销插入孔中、组装一组齿轮并拧紧螺丝，那么它应该具备高层次的常识和低层次的灵巧性来插入 USB-C 线缆。适应性的一种强形式是，机器人不知道如何解决新任务，但能够高效地学习它。一个能够以 0.5 mm 间隙组装齿轮的机器人，应该能够快速学会以 0.1 mm 间隙组装齿轮。

与研究共识一致，我们认为通往泛化和适应性的长期路径是通过从互联网规模数据中学习的模型，包括视觉-语言-动作模型（VLA）、世界-动作模型（WAM）和机器人原生基础模型。这些模型已展现出显著的物理常识、快速适应和上下文学习能力。

然而，机器人社区中存在一个公开的秘密：我们距离捕捉物理世界近乎无限的多样性并从中高效学习还有很长的路要走。作为一个思想实验，一家 AV 公司每天可能收集 100 TB 到 1 PB 的有用数据，但自动驾驶只是通用机器人应该知道如何执行的一项任务。此外，在合理受限环境中的模块化系统通常比端到端模型泛化得更好、更快（例如，1、2）。

我们看到了机器人基础模型通往泛化和适应性的三条互补路径。第一条路径是数据飞轮：在部署条件下构建持续改进的机器人系统，在部署期间收集数据，并利用这些数据对基础模型进行中期训练或后期训练。关键限制是覆盖范围：每次部署代表一个狭窄的交互分布，基础模型可能难以进行插值。

第二条路径是世界模型。将其定义为“以动作为条件的多模态预测模型”，这些模型几乎可以在任何物理数据源上进行训练。研究人员最终可能将其用作所有物理交互的模拟器，从而实现机器人基础模型的多样化后期训练。然而，未来的世界模型必须随时间演进；如前所述，物体动力学可能高度非平稳。

第三条路径是智能体驱动的机器人技术。正如近期突破所表明的（例如，1、2、3），智能体不仅展现出越来越多的人类常识，包括空间推理，还能在模拟器、世界模型和真实世界中提出有效的动作。智能体引导的动作可能生成后期训练数据，而智能体引导的干预最终可能在新任务上替代人类纠正。

我们以行动号召作结：加入我们的旅程。AI 硬件的机器人装配不仅代表了现代最具影响力的问题之一，也是基础与应用机器人研究的一个引人注目的北极星。我们期待看到社区在这个方向上取得快速进展。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：NVIDIA Technical Blog

原创地址：https://developer.nvidia.com/blog/the-machines-that-make-the-machines/