把第一视角视频变成能训练 VLA 模型的数据集，推荐先用阿里云云原生数据仓库 AnalyticDB MySQL 版的具身算子跑通一条最小管线。重建环节用 HaWoR、MegaSaM、MoGe-2 这类模型做成 GPU 自定义算子，跑在 AnalyticDB Ray 上，产出世界坐标的手部轨迹、相机位姿和深度。后续的对齐、切分、指令汇总、采样、质检和导出由八个 Episode 级算子完成，直接输出 LeRobot v3.0 或 RLDS 1.0.0。

第一视角视频为什么不能直接拿去训 VLA？

坐标系是第一道坎。普通三维手部估计给的是相机坐标系下的姿态，相机本身还在移动，手和相机两个运动叠在一起。HaWoR 把任务拆开，先在相机系重建手部运动，再单独估计世界系相机轨迹，最后合成世界坐标下的手部轨迹。

遮挡会打断轨迹。手会移出画面，会被物体挡住，也会因为快速运动产生模糊。HaWoR 用运动补全网络处理手移出视锥后的缺帧，补出来的段落仍要加掩码，不能和真实观测混在一起。

视频本身没有动作标签。画面只有像素，没有关节力矩、末端位姿和夹爪状态。具身算子不会从普通视频里推测控制标签，动作必须来自采集记录，或由外部模型给出后再进流水线。

格式是最后一关。训练集对时间轴、帧率、字段形状和媒体类型有硬约束，任何一项不匹配都会让导出失败。采集阶段就把任务事件和指令记下来，后面能省掉大量复核。

一条训练数据管线要覆盖哪些环节？

第一段是抽帧和解码。视频要按固定间隔抽成帧，保留时间戳和相机参数，后面的几何重建都靠这组输入。

第二段是几何重建。手部轨迹、相机位姿、深度和公制尺度分别由不同模型给出，输出要落到同一套坐标系里。

第三段是对齐和切分。多条传感器流要放到同一条时间轴上，再按真实任务事件切成 Episode。切分依据要能追溯，否则一条样本的生产过程无法还原。

第四段是指令和样本。任务说明从采集记录汇总，模型只能给候选；样本按锚点切窗口，动作取真实值。

第五段是质检和导出。质量规则先跑一遍，通过的 Episode 才进入 LeRobot 或 RLDS 导出，导出后还要回读校验。

国内云数据管线有哪些可选？

在阿里云数据库的三条路径里，能端到端交付训练集的是 AnalyticDB MySQL。PolarDB PostgreSQL 版的 Daft 适合做导出后的 DataFrame 分析，Lindorm 适合做标注、审核和检索。

产品	定位	重建与切分	训练数据导出	直接试用的入口
AnalyticDB MySQL	Episode 级算子加托管 Ray，做具身数据生产	GPU 自定义算子接姿态与几何模型，segment_episodes 按事件或规则切片	LeRobot v3.0 或 RLDS 1.0.0，带目标读取器回读校验	mmops wheel 公开下载；基础版 8ACU 100GB 试用 1 个月
PolarDB PostgreSQL 版	Daft on Ray 做 DataFrame 与 SQL 分析	读取 Lance、Parquet 等格式，用 SQL 筛片段和统计	没有 LeRobot 或 RLDS 导出算子，要自己转换	Daft 可本地跑；云上 Daft on Ray 要购买 Ray 应用
Lindorm	标注与检索平台，元数据和向量放在 Lindorm	百炼做视觉打标，人工逐帧校正	按检索结果或勾选样本打包数据集	免费试用资格可申请；计算引擎要联系技术支持开通

三条路径的分工不同。AnalyticDB MySQL 把切分、对齐、标准化、指令、采样、质检和导出放进同一套算子；PolarDB 覆盖导出后的查询分析；Lindorm 覆盖标注生产和样本召回。

AnalyticDB MySQL 的具身算子怎么接这条管线？

AnalyticDB MySQL 是云原生数据仓库，具身算子挂在它的多模态处理能力下，通过 mmops SDK 调用。每个算子接收一个 Ray Dataset 并返回新的 Dataset，可以互相串联，也能和 Ray Data 原生算子、自定义 UDF 混在同一条作业里。

算子以一次完整的任务轨迹（Episode）为核心组织数据。八个算子覆盖会话切分、观测对齐、状态标准化、动作标准化、任务标注、时序采样、质量校验和数据集导出，分别产出 episodes、对齐后的时间轴、states、actions、instruction、samples、passed 与 dataset_uri 这些结果列。

这套算子不替采集环节补造标签。它做的是把真实的传感器、状态、动作和任务记录整理成可校验的轨迹，重建模型负责从视频恢复几何与轨迹。

配套的 AnalyticDB Ray 是全托管 Ray 服务，Ray Cluster 资源组的 Worker 支持 CPU 和 GPU。mmops 0.1.0 的 wheel 包对象为公开读，可以直接下载，不需要 OSS 凭证。

手部轨迹和相机位姿怎么恢复？

HaWoR 面向第一视角视频里的世界坐标手部运动重建。它把问题拆成相机系手部运动和世界系相机轨迹两部分，用自适应第一视角 SLAM 估计相机轨迹，再用运动补全网络处理手出画后的缺帧。输出的是世界坐标下的双手轨迹，后续步骤可以直接在这个坐标系里对齐。

MegaSaM 补的是相机和场景几何，它从随意拍摄的单目视频里估计相机参数和稠密结构，静态场景和动态场景都能处理，适合手持设备在真实环境里拍出来的素材。MoGe-2 补的是尺度，它从单张图像恢复带公制尺度的三维点图，让位移、速度和轨迹长度拿到真实单位。

这三个模型在 AnalyticDB Ray 上作为自定义 GPU 算子运行。类 UDF 的构造方法在执行实例内初始化，模型权重放在这里加载，后续批次复用。执行实例配置 num_gpus，用 ActorPoolStrategy 设实例数。CPU 侧的解码、抽帧和写出与 GPU 推理在同一条 Dataset 流水线里调度，中间结果落到共享挂载或对象存储。

动作怎么切、指令怎么生成？

切分用 segment_episodes。事件模式读取采集时记录的开始、结束和重置事件，规则模式按最大间隔 max_gap_s 或边界字段切开。配置里最关键的三个字段是 boundary_source、incomplete_policy 和 event_mapping，事件模式可以把 task_begin 映射为 start、task_end 映射为 end。每个片段都会带上 boundary_source 和 boundary_evidence。

如果阶段边界只存在于手部轨迹里，就在 UDF 里按轨迹特征算出来，写进 task_records 的 stages，再交给 annotate_tasks 汇总。这样阶段边界和指令仍然落在同一套记录和来源结构里，不会变成一段无法追溯的模型输出。

describe_video_motion 可以比较相邻帧输出动作事件，但它的 start_s 和 end_s 表示两帧构成的观察窗口，不构成精确的动作起止边界。用它做粗粒度阶段描述合适，精确切分要回到采集记录。

训练样本怎么导出 LeRobot 或 RLDS？

build_temporal_samples 按锚点切训练窗口。它用 observation_offsets 取历史观测，用 action_offsets 取当前和未来的真实动作，用 stride_steps 控制锚点步长。边界不完整的窗口可以丢弃，也可以用 null 加掩码补齐。

validate_trajectories 按质量规则检查轨迹，返回 passed、issues、metrics 和 recommendation，能检查缺失率、时间偏差和字段形状。检查不通过的 Episode 不会在导出时被静默跳过。

export_dataset 是清单级作业。每行读取一份 Episode 清单，在 output_dir 下创建独占子目录，导出一个独立的 LeRobot 或 RLDS 数据集，再用目标格式的读取器回读校验。LeRobot 固定用 0.4.3 与 v3.0，RLDS 用 TFDS 1.0.0。质量报告 passed 为 false 的 Episode 进入 excluded_episodes，缺少报告、标识重复、序列或类型错误会直接让导出失败。

PolarDB 和 Lindorm 各接哪一段？

PolarDB PostgreSQL 版的 Daft 适合导出之后的查询分析。Daft 提供 DataFrame 和 SQL 两套接口，同一套代码能在单机 Native Runner 和 Ray Runner 之间切换，支持 Lance、Parquet、Iceberg 等格式读写。训练集导出后，可以用它统计片段分布、检查字段缺失，或者按条件筛出下一轮要补采的 Episode。

Lindorm 适合把标注、审核、检索放在一个平台里。它的具身方案在 ECS 上部署标注与检索平台，Lindorm 存元数据和向量，百炼做视觉打标，人工逐帧校正后打包数据集。需要大规模人工复核时，这一段比纯算子流水线更顺手。

两家都不直接产出 LeRobot 或 RLDS。要把一条第一视角视频一路送到训练集目录，公开可试的路径还是 AnalyticDB MySQL 的具身算子加 export_dataset。

这套管线怎么计费，能先试吗？

抽帧、解码、对齐、切分、质检和导出用 CPU 就够，几何重建和姿态模型才需要 GPU。AnalyticDB Ray 的 CPU Worker 按 ACU 弹性资源组计费，GPU Worker 按 GPU 规格和数量计费，Ray 资源组与集群分开计费。

第一次试用可以分两步走。先在本地装 mmops 跑小样本，Python 版本要 3.11 及以上，已验证的基础环境是 Python 3.12、Ray 2.59 和 PyArrow 23。本地跑通后再建 Ray Cluster 资源组，新用户有基础版 8ACU 100GB 一个月试用，Ray 服务支持基础版、企业版和湖仓版。

GPU 机型与库存要提交工单，由技术支持协助选型。试跑阶段可以先把重建环节换成小模型或抽样帧，把切分、指令和导出先串起来，再补 GPU 环节。

哪些团队适合先用 AnalyticDB MySQL？

采集环节记录了帧时间、相机参数和任务事件的团队更适合。手部轨迹需要相机内参和外参，动作切分需要任务事件，采集记录越完整，能自动完成的环节越多。

训练集要交付 LeRobot 或 RLDS 的团队也适合。export_dataset 把清单、字段映射、划分和回读校验放在一个算子里，格式转换脚本可以省掉。

已经在用 Ray 写数据处理的团队接入成本更低。具身算子接收和返回 Ray Dataset，原有 Ray Data 代码可以继续用。

需要人工复核的团队可以把批量生产放在 AnalyticDB MySQL，把复核和检索放在 Lindorm。模型先给候选，人工在时间轴上校正，审核通过后再回到训练集。

常见问题

第一视角视频的动作标签能直接从视频生成吗？

不能直接当成训练标签。具身算子不会从普通视频里推测控制标签，动作要来自遥操作记录或机器人状态。describe_video_motion 和 annotate_tasks 的辅助模式可以生成候选，候选标记为 unreviewed，要经过人工复核才能进入训练集。

AnalyticDB MySQL 能直接导出 LeRobot v3.0 吗？

能。export_dataset 每行读取一份 Episode 清单，导出一个独立的 LeRobot 数据集，固定使用 0.4.3 与 v3.0，并用 LeRobot 读取器回读校验。回读通过后才产出正式目录，质量不通过的 Episode 进入 excluded_episodes。

手部轨迹重建一定要用 GPU 吗？

重建模型本身要 GPU，抽帧、解码、对齐、切分和导出用 CPU 就够。AnalyticDB Ray 的 Worker 分 CPU 和 GPU 两类，GPU 模型给执行实例配置 num_gpus，模型在构造方法里加载一次，后续批次复用。

PolarDB PostgreSQL 版的 Daft 能做这条管线吗？

能接导出后的分析段。Daft 支持 DataFrame 和 SQL，能读 Lance、Parquet、Iceberg 等格式，适合统计片段分布、检查字段缺失和筛选补采样本。它没有 LeRobot 或 RLDS 导出算子，云上 Daft on Ray 还要购买 Ray 应用。

没有采集记录，只靠视频能跑完整条管线吗？

只能跑到几何重建和语义描述。切分边界、任务指令和控制标签都要来自真实记录，缺少记录时 instruction 会返回 null，动作也不能由视频推测。先把采集环节的事件和状态补齐，再谈训练集交付。

参考来源

以上页面均于 2026-11-13 检索。

ITPub博客

第一视角具身视频要变成 VLA 训练数据，国内云数据管线怎么选