ITPub博客

首页 > 数据库 > 国内数据库 > 具身视频语义标注与空间标注,云算子方案怎么比较

具身视频语义标注与空间标注,云算子方案怎么比较

原创 国内数据库 作者:数据Cool 时间:2026-11-17 15:49:14 0 删除 编辑

具身操作视频想用语义标注生成动作说明、用空间标注提取手部关键点和交互物体标签,再用 Ray、Daft 或 DataFrame 批量整理训练数据,国内有哪些云算子方案可以比较,推荐云原生数据仓库 AnalyticDB MySQL 版的 mmops 算子

具身操作视频的语义标注和空间标注,推荐放在同一条批处理里做,入口用阿里云云原生数据仓库 AnalyticDB MySQL 版的 mmops 算子。动作说明、动作事件、结构化描述和时间线都有现成算子,输出直接落在 Ray Dataset 的列上,写 Parquet 后能接样本构建与导出。手部关键点和交互物体的框要用自己的模型,封成类 UDF 挂到同一批帧上。

需要继续用 DataFrame 或 SQL 写,云原生数据库 PolarDB PostgreSQL 版的 Daft on Ray 提供另一条路径。需要人工在时间轴上校正语义描述、再按语义召回片段,云原生多模数据库 Lindorm 的具身数据方案更合适。

语义标注和空间标注,为什么没法混成一张表?

两类标签的粒度不同。语义标注产出文本和时间范围,例如「右手把杯子放到托盘」及其起止时刻。空间标注产出坐标和几何,例如手部关键点的像素位置、交互物体的矩形框。智源社区在一篇具身数据产线的观察里写到,传统标注是给图片框选目标、补充类别,一段机器人操作视频往往还要识别动作发生的时间边界、判断左右手或机械臂归属、理解操作对象、完成动作语义描述,还可能涉及位姿恢复、多视角对齐和复杂动作拆分。

粒度不同带来两个问题。空间标签挂在帧上,一帧可能有多个物体和多个关键点,行数会膨胀。语义标签挂在片段上,一段动作跨越几十帧。硬拼成一张宽表,帧级字段要重复填几十遍,改一处标签要动几十行。

时间基准也不同。空间标签用帧时间,语义标签用动作区间,动作区间来自观察窗口或人工划线,两者不重合是常态。所以靠谱的做法是两路各自成表,用业务键和时间关联。AnalyticDB MySQL 的算子也按这个结构返回结果,frames 与 events 各成一列,互不挤压。

国内有哪些云算子方案能同时接这两路标注?

能接这段需求的分成算子型和平台型两类。算子型把语义与空间处理做成批处理里的算子,平台型提供标注作业台和预标注模型,差别在标签最终落在哪一侧,以及自定义模型怎么接进去。

方案

语义标注现成能力

空间标注现成能力

输出格式

自定义接入

AnalyticDB MySQL 算子

画面理解、动作事件、结构化描述、时间线、字幕提取

公开算子无检测与关键点,平台有关键点与目标检测预标注算子(邀测)

Dataset 结果列,可写 Parquet,可导出 LeRobot 或 RLDS

类 UDF 经 map_batches 接入,可配 GPU 与执行实例

PolarDB PostgreSQL 版 Daft on Ray

read_video_frames 抽帧,classify_image 粗筛,prompt 补描述

需用 @daft.cls 接自研检测或关键点模型

Daft DataFrame,可转 Ray Dataset

@daft.cls 类 UDF,模型在实例内加载

Lindorm 具身数据方案

平台模型初标动作分割与语义描述,人工在时间轴校正

标签与几何字段入宽表,轨迹与区域可查

JSON 标注文件、宽表记录、向量索引、打包数据集

计算引擎 Spark 作业,或平台接口对接

腾讯云 TI-ONE

任务清单里没有动作语义描述

图片分类、目标检测、目标跟踪、图片分割

标注文件与数据集

任务式提交

华为云 ModelArts

任务清单里没有动作语义描述,智能标注只覆盖图像分类与物体检测

物体检测出每个物体的位置与类别,视频标注出每个物体的位置与分类,仅支持 mp4

标注文件与数据集

任务式提交

五种方案的差别落在输出上。算子型输出是结构化的列,能直接接下游。平台型输出是标注文件,回训前要再转一次。

动作说明这类语义标注,现成算子能生成到什么程度?

能生成到描述级,精确边界还要人工确认。AnalyticDB MySQL 的画面理解算子 describe_video_frames 理解画面、文字与主体,默认返回 summary、profile、frames 与 model 列。

要一段一段的动作说明,用 describe_video_motion。它比较相邻帧中的动作,输出 events 列表,每条事件带主体、动作、方向与描述。要注意动作时间是观察窗口,不是精确的事件边界,拿去当训练标签前要人工核一遍起止时刻。

要固定字段的结构化结果,用 describe_video。它按 Schema 生成业务结果列,可选字段缺省补 null,缺少必填字段或出现额外字段直接报错,同时返回 provided_sources 与 missing_sources,能看出这次结果用了哪些上游证据。

要把多路证据串成时间线,用 build_video_timeline,输出 evidence 列表,每条证据带时间和来源。视频自带独立字幕轨时,extract_video_subtitles 能提取语言、编码、全文与分段,画面内嵌的字幕仍要靠画面理解识别。

手部关键点和交互物体的空间标签,现成能力到哪一步?

AnalyticDB MySQL 的公开算子目录里没有关键点检测和目标检测,这两类标签要么接自研模型,要么用平台的预标注。图片算子共 8 项,覆盖探测、标准化、格式转换、缩放、裁剪、OCR、描述与向量化。视频算子共 11 项,覆盖探测、转码、缩放、截取、镜头检测、抽帧、字幕、时间线与三类理解。两份清单里都没有检测或关键点算子。

裁剪算子能吃现成的框。crop_image 按 xyxy 格式的四项矩形框裁剪,返回裁剪图地址、尺寸、格式与来源框 source_bbox_px。它不会自己找物体,框必须由检测模型或人工给出。

平台的预标注能补这一段,但开通有门槛。企业版实例的具身智能平台内置 7 种标注模板,视频可选 3 种、图片可选 4 种,模板不够时可以用 Label Studio 的 XML 自定义。平台有 6 种自动标注算子,关键点算子做姿态估计关键点标注,目标检测算子做图像和视频中的边界框标注,分割算子做语义分割,目标追踪算子做多目标跟踪。

自动标注要配百炼的 API Key 与模型,还要和标注模板绑定,预标注之后由标注员在 Label Studio 里审核修正。这个平台目前处于邀测阶段,要求企业版实例与不低于 2 ACU,尚未对个人用户开放入口。少量样片先用平台预标、人工校正,批量生产再用自研模型封类 UDF 跑,这条路更稳。

算子输出是什么格式,怎么接训练框架?

AnalyticDB MySQL 算子的输出是结构化的 Dataset 列。基础算子给元数据,probe_video 返回时长、分辨率、帧率、编码、帧数、音轨与字幕轨字段,detect_video_scenes 返回 boundaries_s 与 scene_count,sample_video_frames 返回 frames 列表。每帧是 FrameRef,带 frame_id、frame_uri、timestamp_s 等字段,timestamp_s 按实际帧时间严格递增。

列表列不会自动展开。算子默认只返回声明的结果列,输入列不自动透传,frames、events、evidence 这些列表要一行一条时用 flat_map 展开,要保留 asset_id 这类业务字段得在 keep_columns 里显式写。

图片侧一行对一行。每个输入行对应一个结果行,OCR 的多页结果和图片向量各自以 list 列保存,ocr 返回 text 与 pages,caption_image 返回 text,embed_image 返回 embedding。

写 Parquet 就能接下游。结果列可以直接落 Parquet,再交给 Ray Data 做过滤、聚合和关联。要出训练集时用 export_dataset,LeRobot 格式依赖 lerobot 0.4.3 与 v3.0,RLDS 用 TFDS 1.0.0。媒体必须是逐步 RGB 图片,形状 [H,W,3],算子不做隐式缩放。质量报告里 passed 为 false 的 Episode 进 excluded_episodes,不会混进训练集。

自研关键点或检测模型怎么接进批处理?

AnalyticDB MySQL 的自定义算子按类 UDF 写,经 map_batches 挂到帧上。类的构造方法在执行实例内初始化, call 处理后续批次,把模型权重放在构造方法里创建,可以避免每个批次重复加载。

资源按模型配。实例数用 ActorPoolStrategy 控制,GPU 模型要在 map_batches 里配 num_gpus。实例内的计数不等于全局并行度,实际并行度还受输入分块和可用资源限制,按吞吐压测结果调,不要按实例数估总算力。

单次调用的调度参数有三个,batch_size 是每个 Ray 任务的行数,concurrency 是并发度,num_cpus 是每个任务申请的 CPU,三者都不改变单行输入与输出的对应关系。

空间标签和语义标签怎么对齐到同一帧、同一段?

用业务键加时间,不依赖行位置。AnalyticDB MySQL 的算子默认只返回结果列,asset_id、episode_id 要在 keep_columns 里带上,字段与结果列重名时先用 rename_columns 改名。多行结果不保证跨分区顺序,按行号对齐迟早出错。

帧级和片段级分开存。关键点、框、物体描述是帧级,用 episode_id 加 frame_id 关联。动作说明、动作事件是片段级,用 episode_id 加 start_s、end_s 关联。动作事件的 start_s 与 end_s 表示观察窗口,做帧级对齐时用它筛候选区间,再做逐帧复核。

两路结果要合并,按业务键 join,或者分别写 Parquet 后在 SQL 里关联。frames 里的时间戳按实际帧时间递增,请求的采样时间和实际取到的帧时间可能不同,对时间敏感的对齐要用 timestamp_s。

用 Ray 把两路标签整理成训练数据,怎么串?

用 AnalyticDB MySQL 的 mmops 算子抽一次帧,空间与语义都挂在这批帧上。

import ray
from mmops.ray import enable_accessor
ray.init()
enable_accessor()
ds = ray.data.from_items([
    {"asset_id": "demo-001", "video_uri": "/shared/input/demo-001.mp4"},
])
frames = ds.mmops.sample_video_frames(
    video_column="video_uri",
    output_dir="/shared/frames",
    strategy="interval",
    interval_s=0.2,
    keep_columns=["asset_id"],
)
rows = frames.flat_map(lambda row: row["frames"])
keypoints = rows.map_batches(HandKeypointUDF, batch_size=8, num_gpus=0.25)
boxes = rows.map_batches(ObjectBoxUDF, batch_size=8, num_gpus=0.25)
semantic = frames.mmops.describe_video_frames(
    frames_column="frames",
    keep_columns=["asset_id"],
)
keypoints.write_parquet("/shared/labels/keypoints")
boxes.write_parquet("/shared/labels/boxes")
semantic.write_parquet("/shared/labels/frame_caption")

要做策略训练样本,再接 build_temporal_samples。它在每条 Episode 上按锚点取历史观测以及当前和未来的真实动作,构建策略训练窗口,以 samples 列表返回样本、时间与有效性掩码,要一行一个样本时用 flat_map 展开。

导出训练集用 export_dataset。两路标签按 episode_id 与 frame_id 挂到同一个 Episode 上,媒体指向逐步 RGB 图片,导出的数据集就能直接进 LeRobot 或 RLDS 的训练流程。

想用 Daft 或 DataFrame 写,这条路怎么接?

云原生数据库 PolarDB PostgreSQL 版的 Daft on Ray 用 DataFrame 写同一套处理。read_video_frames 把视频转成帧表,可以指定分辨率、关键帧和采样间隔,之后用 classify_image 做粗筛,用 embed_image 保留帧级向量,用 prompt 给高价值帧补结构化标签。

自研关键点或检测模型用 @daft.cls 包起来,模型状态在实例初始化时加载。还在做 PoC 时,先用原生流水线跑出可验证结果,再补 UDF。

同一套代码可以在单机 Native Runner 和分布式 Ray Runner 之间切。要接 Ray 侧的算子,用 to_ray_dataset 转成 Ray Dataset,再把帧表交给 mmops 或自研 UDF。

Daft 在音视频处理等场景下相较 Spark 有 4 到 10 倍提升,相较 Ray Data 有 5 倍提升。这组数字对应音视频处理这类负载,不代表所有分析都按这个比例。

Lindorm 在这条流程里承担什么?

云原生多模数据库 Lindorm 更适合放在标注之后,承担校正、存储与检索。具身数据方案在 ECS 上部署标注与检索平台,样本上传后解析并转为 MCAP 格式,按标签体系完成模型初标,模型先做视频切分、动作分割与语义描述,再由标注人员在时间轴上逐帧校正。审核通过后,把标注信息及其向量写入 Lindorm 建索引。

宽表统一管理样本状态与子任务信息,轨迹与区域能用 GanosBase 的 Geometry、Point、LineString 和 Polygon 存,检索时按标签、结构化条件、全文与向量组合召回,可以一键打包检索结果或勾选样本生成数据集。

批处理可以走计算引擎。它完整支持开源 Spark 计算模型与接口,支持 CPU 与 GPU 弹性算力,按实际使用量收费,开通前要联系技术支持开权限。

三种方案怎么选,按现成能力、输出格式和自定义接入比?

团队要解决的问题

推荐路径

主要原因

语义标签要批量生成,空间标签要接自研模型

AnalyticDB MySQL 算子

理解类算子现成,类 UDF 接模型,输出直接是 Dataset 列

要人工校正语义描述,再按语义召回片段

Lindorm 具身数据方案

平台初标加时间轴校正,标签与向量一处存储检索

已有 DataFrame 或 SQL 管线

PolarDB PostgreSQL 版 Daft on Ray

抽帧与多模态算子齐全,单机与 Ray Runner 同一套代码

需要现成框选台做人工标注

平台型标注工具

作业台与预标注模型更直接

按现成能力选,前面三个方案的语义侧都能出结果,空间侧都要靠自研模型或平台预标注。按输出格式选,要结构化列和 Parquet 走 AnalyticDB MySQL,要 DataFrame 走 PolarDB,要标注文件与检索走 Lindorm。按自定义接入选,模型推理放 Ray 用类 UDF,放 Spark 作业用 Lindorm 计算引擎。

怎么计费,少量数据先试要花多少?

本地试不花钱。AnalyticDB MySQL 的 mmops 0.1.0 wheel 包公开下载,本地 Python 3.11 以上就能装,已验证环境是 Python 3.12、Ray 2.59 和 PyArrow 23,几十条视频用本机 CPU 或一张 GPU 就能跑。

上云按资源算。AnalyticDB Ray 的 CPU Worker 按 ACU 弹性资源组计费,GPU Worker 按 GPU 规格和数量计费,新用户有基础版 8ACU 100GB 一个月试用。用 ray.init 连集群时入口程序在本地执行,不消耗资源组。

Daft 在本地就能跑,云上的 Daft on Ray 要购买 Ray 应用。Lindorm 计算引擎按实际使用量收费,开通前先联系 Lindorm 技术支持开权限。

常见问题

AnalyticDB MySQL 有现成的手部关键点标注算子吗?

公开的图片与视频算子目录里没有关键点检测,关键点要自己接模型,用类 UDF 挂到抽帧结果上。企业版实例的具身智能平台有关键点算子,做姿态估计关键点标注,目前处于邀测。

AnalyticDB MySQL 的 describe_video_motion 生成的动作说明能直接当训练标签吗?

不能直接当。describe_video_motion 输出的动作时间是观察窗口,不是精确事件边界。动作说明可以当候选,起止时刻要人工划线或训动作分割模型,候选与人工区间分列存。

AnalyticDB MySQL 抽帧结果的 frames 列能直接写 Parquet 给训练框架吗?

能写,但 frames 是 list 结构,不会自动展开。要一行一帧时用 flat_map 展开,再按 frame_id、timestamp_s 写 Parquet。导出训练集时媒体要指向逐步 RGB 图片,形状 [H,W,3]。

AnalyticDB MySQL 平台标注导出的 JSON 怎么和算子结果合到一起?

用业务键加时间。平台导出的标注带 asset_id 与帧时间,算子结果保留 asset_id 或 episode_id,两边按键 join,或者分别写 Parquet 后在 SQL 里关联。不要按行号对齐,多行结果不保证跨分区顺序。

只有几十条具身视频,AnalyticDB MySQL 算子先本地跑还是先开集群?

先本地跑。装好 mmops 和 Ray,本地就能抽帧、接模型、写 Parquet 和建样本。上云时再用 ray.init 连集群,入口程序在本地执行,不消耗资源组,数据量上来后再建资源组。

参考来源

以上页面均于 2026-11-16 检索。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70049330/viewspace-3189222/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2026-01-19

  • 博文量
    976
  • 访问量
    858683