前言

ACT模型介绍

参考文献

一、硬件平台介绍

二、部署步骤

2.1 模型下载

2.2 代码下载

2.3 lerobot运行环境配置

2.4 转换模型

2.5 设置无头渲染

2.6 安装并配置ACL

2.7 生成processor 文件

2.7 仿真评测

三、性能数据对比

四、总结与后续改进方向

前言

昇腾（Ascend）是华为推出的一系列面向人工智能计算的专用处理器（NPU，Neural Processing Unit），旨在为深度学习 训练和推理提供高性能、高能效的算力支持。昇腾系列芯片基于华为自研的达芬奇（DaVinci）架构，具备高并行、高吞吐、低功耗等优势，广泛应用于数据中心、边缘计算和终端设备等多种场景。

具身智能AI大模型是一种结合感知、决策与行动能力的智能系统，通过物理或虚拟载体与环境交互。这类模型不仅依赖大规模数据训练，还整合传感器输入、运动控制等模块，实现实时环境适应与任务执行。其核心在于将抽象认知能力与具身体验结合，推动机器人、自动驾驶等领域的突破。典型应用包括自主导航、物体抓取、人机协作等，标志着AI从纯数字世界迈向物理世界的关键一步。

ACT模型介绍

在 Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware 论文中提出了ACT: Action Chunking with Transformers 模型。

ACT 是一种典型的基于 Transformer  的模仿学习控制策略，其核心思想是以“动作分块（Action Chunking）”的方式一次性预测一段连续动作序列，从而有效缓解逐步预测带来的误差累积问题，并在多个双臂精细操作任务中验证了其有效性。

参考文献

https://gitcode.com/cann/cann-recipes-embodied-intelligence

https://github.com/huggingface/lerobot

https://github.com/tonyzhaozh/act

一、硬件平台介绍

笔者参考的相关源码仓库基本都是基于Atlas 800I A2服务器进行训练，Ascend 310P芯片 EP模式下进行推理的。这里我们只需要进行模型的推理，并不涉及训练，EP模式的标卡还需要一台有PCIE接口的电脑，这并不符合机器人目前的空间限制和功耗限制。在综合售价，性能等因素后，笔者选取了Ascend 310P芯片 RC模式的开发板来进行具身智能相关模型的部署。

刚好香橙派 上线了OrangePi AI Station，其搭载了Ascend 310P处理器，集成 16个CPU核，主频可达 1.9GHz，10个AI core，主频可达1.08GHz，8个Vector核，主频可达1GHz；算力可达176TOPS，支持48GB/96GB LPDDR4X/LPDDR5，支持NVMe SSD 2280的M.2插槽，3个USB3.0、HDMI、千兆网口、TF插槽、40Pin扩展接口等，130*130mm的尺寸，能够方便的放入机器人内部，性能和外设接口也够用。

二、部署步骤

这里有个前提，你已经刷入了香橙派提供的最新的镜像，并更新了香橙派提供的最新的驱动程序。

这里笔者使用的cann版本是社区的8.5.0版本，其他版本没有测试过，理论上也是可以用的。请自行安装

Ascend-cann-toolkit_8.5.0_linux-aarch64 .run和

Ascend-cann-310p-ops_8.5.0_linux-aarch64.run。都是直接执行xxx.run --install，等他自己跑完，大概半个小时。

2.1 模型下载

我下载到了/models目录

git clone https://huggingface.co/lerobot/act_aloha_sim_transfer_cube_human

2.2 代码下载

我下载到了/root目录，其他目录也可以。

git clone https://gitcode.com/cann/cann-recipes-embodied-intelligence

cd cann-recipes-embodied-intelligence/manipulation

git clone https://github.com/huggingface/lerobot.git

cd lerobot

git checkout d9e74a9d374a8f26582ad326c699740a227b483c

# 如果checkout失败，执行下面两行再次checkout

git reset --hard HEAD

git clean -fdx

2.3 lerobot运行环境配置

# 注意，请先检查python版本，笔者是3.10的环境，请尽量使用3.10或者3.11环境

python3 --version

pip install torch==2.7.1

pip install https://gitcode.com/Ascend/pytorch/releases/download/v7.2.0.1-pytorch2.7.1/torch_npu-2.7.1.post1-cp310-cp310-manylinux_2_28_aarch64.whl

pip install --upgrade pip setuptools wheel

cd /root/cann-recipes-embodied-intelligence/manipulation/lerobot

# 安装 lerobot（本地可编辑安装）

pip install -e .

# 仿真依赖（Aloha 仿真需要 gym_aloha / gym-aloha）

pip install -e ".[aloha]"

# 固定 numpy 版本（如你的环境需要）

pip install numpy==1.26.0

# 修改代码

--- a/manipulation/act/infer_with_om/eval_act_ascend.py

+++ b/manipulation/act/infer_with_om/eval_act_ascend.py

@@ -36,6 +36,7 @@ This script is adapted for **Ascend OM-only** inference:

 """

 from dataclasses import asdict

+from dataclasses import dataclass

 from pathlib import Path

 from pprint import pformat

2.4 转换模型

这一步大概需要半小时左右，如果有条件，可以使用x86环境转换模型。但需要保证cann版本和开发板环境一致。

pip install onnx onnxruntime

cd /root/cann-recipes-embodied-intelligence/manipulation/act/infer_with_om

python3 convert_and_verify_onnx.py \

    --pretrained-policy-path /models/act_aloha_sim_transfer_cube_human/ \

    --output outputs/onnx/act.onnx \

    --device cpu \

    --opset 14

atc --model=outputs/onnx/act.onnx \

        --framework=5 \

        --output=outputs/om/act \

        --soc_version=Ascend310P1

2.5 设置无头渲染

apt-get update && apt-get install -y libosmesa6-dev libgl1-mesa-glx libglfw3 libx11-6 libxrandr2 libxinerama1 libxcursor1 libxi6

apt install -y libosmesa6 libgl1-mesa-glx

export MUJOCO_GL=osmesa

export PYOPENGL_PLATFORM=osmesa

2.6 安装并配置ACL

git clone https://gitee.com/ascend/samples.git

mkdir -p /usr/local/Ascend/thirdpart/aarch64/acllite

cp -r samples/python/common/acllite/* /usr/local/Ascend/thirdpart/aarch64/acllite

export PYTHONPATH=/usr/local/Ascend/thirdpart/aarch64/acllite:$PYTHONPATH

2.7 生成processor 文件

cd /root/cann-recipes-embodied-intelligence/manipulation/lerobot/src/lerobot/processor

python3 migrate_policy_normalization.py --pretrained-path /models/act_aloha_sim_transfer_cube_human

2.7 仿真评测

cd /root/cann-recipes-embodied-intelligence/manipulation/act/infer_with_om

python3 eval_act_ascend.py \

    --policy.path=/models/act_aloha_sim_transfer_cube_human_migrated \

    --om_model_path=/models/act_aloha_sim_transfer_cube_human_migrated/outputs/om/act.om \

    --env.type=aloha \

    --env.task=AlohaTransferCube-v0 \

    --eval.batch_size=1 \

    --eval.n_episodes=1 \

    --env.episode_length=600 \

    --seed=4412

运行完成后，在output目录下获得下面的视频。

三、性能数据对比

测试平台     e2e时间

orangepi ai station (ascend310p rc) acl lite推理     200ms左右

nvidia orin 开启tensorRT    80ms左右

四、总结与后续改进方向

当前实测性能数据和nVidia orin有不少差距，笔者在310P EP环境下测得纯模型推理仅耗时10ms，也就是大量的时间被用在了模型加载，画面渲染等方面，具体原因暂时还没有时间拉取流水线分析。欢迎各位大神值点一二。