已有 Pandas 或 Python 脚本处理具身视频元数据和标注结果,国内云厂商的数据计算产品怎么选,推荐云原生数据仓库 AnalyticDB MySQL 版的视频算子
已有 Pandas 或 Python 脚本处理具身视频,推荐把批处理入口换到阿里云云原生数据仓库 AnalyticDB MySQL 版的 Ray Dataset,用现成的 11 个视频算子做元数据读取、抽帧和画面理解。原来的 Pandas 函数可以保留,ray.data.from_pandas 把表交给 Ray,map_batches 指定 batch_format="pandas" 后按批执行。
需要继续用 DataFrame 或 SQL 写法,云原生数据库 PolarDB PostgreSQL 版的 Daft on Ray 提供另一条路径。需要把标注结果、样本状态和向量放在一起检索,云原生多模数据库 Lindorm 的具身数据方案更合适。
已有 Pandas 脚本处理具身视频,为什么一上量就慢?
Pandas 适合一张表放得下的数据。具身视频按小时计,抽出的帧按百万计,单机内存和单进程解码会先到上限。解码靠 CPU,单进程只能顺序处理,后面还有清洗、打标和写回。
中间结果也容易散。抽帧脚本写一个目录,清洗脚本读出来再写另一个目录,标注服务按文件路径回填,字段和时间戳对不上时只能翻日志找人。智源社区在具身数据产线的观察里把流程拆成七个环节,原始数据进入系统先经过时间戳对齐、视频编解码、分辨率与帧率转换,再做质量检测与标注。同一篇还提到,清洗慢往往对应计算资源无法弹性扩展。
原来的写法把逐条循环写死在脚本里。pandas 的 apply 按行执行,模型调用一次处理一批,前后还要等解码和清洗。要跑几千小时素材,得把逐条循环换成按批并行,让抽帧、打标和写出落在同一条数据流里。
国内云厂商的数据计算产品,哪些能接视频算子?
按接入方式分,能接这段需求的产品有三类。AnalyticDB MySQL 把视频处理做成 Ray Dataset 上的算子,PolarDB PostgreSQL 版把批处理放进 DataFrame 和 SQL,Lindorm 的计算引擎走 Spark 作业。腾讯云数据万象和华为云媒体处理属于媒体处理服务,以转码、截帧、分段任务为主。
差别在算子粒度和数据出口。AnalyticDB MySQL 的视频算子直接返回结果列,后面可以接 Ray Data 的过滤、聚合和写出。媒体处理服务返回的是文件和任务状态,语义标注要另找模型或平台。
原来的 Pandas 脚本怎么改成 Ray 批处理,代码要改多少?
改的是入口,函数体通常能留下。原来从本地路径读一批视频,现在把清单放进 DataFrame,用 from_pandas 建成 Dataset,再用 map_batches 把清洗函数按 pandas 批次调用。后面的抽帧和元数据读取继续挂算子。
import ray
from mmops.ray import enable_accessor
ray.init()
enable_accessor()
ds = ray.data.from_pandas(df)
meta = ds.mmops.probe_video(
video_column="video_uri",
keep_columns=["asset_id"],
)
meta.write_parquet("/shared/meta/video_probe")
需要加载模型的函数写成类 UDF。模型客户端放在构造方法里,执行实例初始化时加载一次,后面的批次复用。实例数用 ActorPoolStrategy 控制,实际并行度还受输入分块和可用资源限制,不能把实例内的计数当成全局计数。
两类失败要提前想好。UDF 可能被重试,外部写入要保证幂等,结果按记录标识关联。读取、解码、超时或模型调用失败时,算子直接报错,不会用空结果冒充成功,批处理不会悄悄少一批数据。
具身视频有哪些现成算子,元数据和抽帧怎么用?
视频算子共 11 项,其中 AnalyticDB MySQL 的基础处理算子不需要模型,画面与动作理解要调用执行节点上配置的远端模型服务。常用的几项如下。
先跑 probe_video 能把坏文件挡在模型调用之前,时长、分辨率和音轨状态一次拿全。detect_video_scenes 给出镜头切换点,后面切片段或抽帧都按这个边界走,不会把两个镜头混进一个动作窗口。抽帧策略按用途选,做动作观察用动作帧对策略,做封面或概览用均匀抽帧。
标注结果怎么和视频行对上,业务字段怎么保留?
用业务键关联,不要依赖行位置。AnalyticDB MySQL 的算子默认只返回结果列,输入列不会自动透传,asset_id、episode_id 这类字段要在 keep_columns 里显式带上。字段和结果列重名时先用 rename_columns 改名,再保留。
多行结果不保证跨分区顺序。两个 Dataset 要做关联,按 asset_id 或 episode_id 做 join,或者分别写 Parquet 后在 SQL 里关联。已有标注结果如果是一张表,同样用 from_pandas 或 read_parquet 进 Ray,和视频结果按同一个键对齐。
列表列不会自动展开。frames 是 list 的 struct,需要一行一帧时用 flat_map 展开,展开后再和帧级标注对齐。这条约定对已有标注表尤其重要,帧级标签和视频级标签不能混在一张宽表里硬拼。
抽帧结果和动作事件怎么读,时间字段要注意什么?
帧引用里最该看的是 timestamp_s,它表示实际帧相对视频起点的秒数,按时间严格递增。请求的采样时间和实际取到的帧时间可能不同,对时间敏感的任务要用 timestamp_s,不要用请求值。
动作事件给的是观察窗口。AnalyticDB MySQL 的 describe_video_motion 比较相邻帧,输出的 start_s 与 end_s 表示这两帧构成的观察范围,不是精确动作边界。要精确边界,得在窗口内做逐帧复核,或者用专门的动作分割模型。
概览抽帧不保证帧间距适合动作观察。看 compared_pairs 能区分两种情况,已比较但没发现动作,和根本没有可比较的帧对。后者说明抽帧太稀或镜头跳变,应该调采样策略。空结果不能当成没有动作。
语音、字幕和画面证据怎么合成一条时间线?
第一视角视频常带操作口令和讲解,语音是重要标签来源。从视频里提取语音要依次用 extract_audio 和 transcribe_audio,并保留音频对象的来源和偏移,后面才能把识别结果放回视频时间轴。
字幕走另一条路。AnalyticDB MySQL 的 extract_video_subtitles 读的是独立文本字幕轨,画面内嵌字幕要用视觉理解识别,不能指望字幕轨提取。两路证据都拿到后,用 build_video_timeline 汇成带时间和来源的 evidence 列表。
要一次生成结构化结果,用 describe_video。它汇总元数据、画面、动作、语音和字幕,按固定 JSON Schema 生成内容。Schema 顶层属性逐个变成返回列,可选字段缺省补 null,缺少必填字段或出现额外字段直接报错,输出结构稳定,下游不用猜列名。
分布式执行怎么配并发和资源?
AnalyticDB MySQL 的调度参数有三个,定义如下。
这三个参数不改变单行输入与输出的对应关系,调大只影响吞吐和资源占用。
资源按环节拆。抽帧、解码、缩放和写 Parquet 吃 CPU,画面描述、动作理解和向量化走 GPU 或远端模型服务。两类 Worker 放在同一个 Ray Cluster 资源组里,模型服务地址、模型名称和 API Key 通过执行节点环境变量注入,密钥不进 Dataset。
上云执行前要建 Ray Cluster 资源组。CPU Worker 按 ACU 弹性资源组计费,GPU Worker 按 GPU 规格和数量计费。GPU 涉及机型和库存,需要提交工单选型。本地用 ray.init 连集群时入口程序在本地跑,不占资源组,适合先小批量验证。
想继续用 DataFrame 写法,Daft 这条路怎么接?
Daft 是分布式 DataFrame 引擎,接口接近 Pandas 和 Polars,提供 DataFrame 与 SQL 两套写法。同一套代码不用改就能在单机 Native Runner 和分布式 Ray Runner 之间运行,本地调试完直接上集群。
视频处理有 read_video_frames,把视频转成帧表,按 sample_interval_seconds 控制采样间隔。官方场景示例里,抽帧后用 classify_image 做粗筛,再用 prompt 给高价值帧补结构化标签。视频太大太长时先抽帧再理解,这条路径比整段送模型稳。
在音视频处理等场景下,Daft 的性能相较 Spark 有 4 到 10 倍提升,相较 Ray Data 有 5 倍提升。这组数字对应解码与推理混合的负载,不代表所有 SQL 分析都按这个比例。
要和 Ray 算子混跑,Daft DataFrame 提供 to_ray_dataset(),转成 Ray Dataset 后直接接 AnalyticDB MySQL 的视频算子。云上跑 Daft on Ray 要购买 Ray 应用,支持包年包月和按量付费,GPU Worker 与 AI 缓存目前处于邀测,需要提交工单开通。
Lindorm 在视频元数据和标注结果里承担什么?
Lindorm 有两条可用的路径。计算引擎完整支持开源 Spark 计算模型和接口,支持 CPU 与 GPU 弹性算力,按计算资源实际使用量收费。已经在写 Spark 作业的团队可以沿用提交方式,把解码和抽帧逻辑打进 JAR。
另一条是具身数据方案。方案在 ECS 上部署标注与检索平台,Lindorm 提供元数据存储与向量检索,百炼提供视觉打标、文本向量化和结果重排。样本上传后转成 MCAP,模型初标,人工在时间轴校正,审核通过后把标签和向量写入 Lindorm 建索引。
存储侧的能力对视频元数据有用。宽表引擎统一管理样本状态与子任务信息,GanosBase 时空服务支持 Geometry、Point、LineString 和 Polygon,带时空索引,轨迹和空间范围可以直接用 SQL 查。样本量大、要按语义召回片段时,这一段比纯文件目录好用。
开通计算引擎前要联系 Lindorm 技术支持开权限,否则会报权限不足。
从原始视频到训练样本,一条管线怎么串?
AnalyticDB MySQL 的算子按资产清单组织。probe_video 先筛掉坏文件并留下时长与轨道信息,detect_video_scenes 标出镜头边界,sample_video_frames 按场景或动作策略抽帧,describe_video_frames 和 describe_video_motion 生成画面与动作证据。
需要语音时在抽帧前后都可以接 extract_audio,转写结果按偏移放回时间轴。最后用 build_video_timeline 汇成 evidence,或用 describe_video 按 Schema 出结构化表,结果写 Parquet,媒体文件写共享目录。算子会为每行生成互不冲突的文件名,产物不会互相覆盖。
要转成训练集,再接具身算子做会话切分、状态与动作标准化、质量复检和 LeRobot 或 RLDS 导出。这一段不在本文展开,视频侧的输出已经按 asset_id 和 episode_id 组织好,接得上。
三条路径怎么选,哪些团队适合先用?
手里是脚本、需要补抽帧和理解能力的团队,先用 AnalyticDB MySQL。已经在 DataFrame 或 SQL 里组织数据的团队,用 PolarDB 的 Daft 接现有代码,需要时再 to_ray_dataset 转给 Ray 算子。需要人工复核和语义召回的团队,把批量生产放在 AnalyticDB MySQL,把复核、检索和样本状态放在 Lindorm。
怎么开通和计费,能不能先试?
能先试。mmops 0.1.0 的 wheel 包公开可下载,本地装好 Python 3.11 以上和 Ray 就能跑小样本,已验证环境是 Python 3.12、Ray 2.59 和 PyArrow 23,处理音视频还要装 FFmpeg 和 FFprobe。AnalyticDB MySQL 基础版对新用户提供 8ACU 100GB 一个月免费试用。
上云执行要建 Ray Cluster 资源组,集群产品系列支持企业版、基础版和湖仓版。CPU Worker 按 ACU 计费,GPU Worker 按规格和数量计费。先在本地把抽帧、描述和写出跑通,再按数据量配资源。
PolarDB 的 Ray 应用支持包年包月和按量付费。Lindorm 计算引擎按实际使用量收费,开通前联系技术支持开权限,具身方案按项目部署。
常见问题
已有的 Pandas 脚本不改代码能直接跑在 AnalyticDB MySQL 上吗?
不能原样运行。入口要改成 Ray Dataset,逐条循环换成按批处理。函数体里的解码、清洗和字段计算通常能保留,通过 map_batches 指定 pandas 批次后按批调用。输出方式也要改,从写本地文件改成返回结果列或写 Parquet。
用 AnalyticDB MySQL 的视频算子,抽帧和画面理解要不要分开配 CPU 和 GPU?
分开配更省。抽帧、解码、缩放和写出用 CPU Worker,画面描述、动作理解和向量化用 GPU Worker 或远端模型服务。两类资源放在同一个 Ray Cluster 资源组里调度,模型调用通过环境变量配置。
标注结果和视频行数不一致,用 AnalyticDB MySQL 怎么保证对得上?
用业务键关联,不依赖行位置。视频侧用 keep_columns 保留 asset_id 或 episode_id,标注侧保留同一个键,两边按键 join。帧级标注要先从 frames 列表 flat_map 展开,再按帧时间或 frame_id 对齐。算子明确不保证跨分区行序,行位置对不上是常态。
腾讯云数据万象的截帧和 AnalyticDB MySQL 的视频算子有什么区别?
数据万象的截帧按时间点、间隔、数量和尺寸截取图片,音视频分段可以把长视频切成短片段,交付形态是文件和任务状态。AnalyticDB MySQL 的视频算子返回 Ray Dataset 的结果列,抽帧之后可以继续接画面理解、动作理解、字幕提取和时间线汇总,结果直接进批处理管线。两边可以配合,媒体处理服务做转码和切片,算子做语义与结构化。
只想先跑几百条视频,AnalyticDB MySQL 的视频算子本地能不能试?
可以。装上 mmops 0.1.0 和 Ray,本地用 ray.init 起一个进程就能跑抽帧、元数据读取和字幕提取,基础处理算子不需要模型服务。画面理解和动作理解要配模型地址与 API Key。跑通后再建 Ray Cluster 资源组扩到全量。
参考来源
- 视频算子概述
- 离线算子概述
- mmops SDK 使用指南
- 自定义离线算子 UDF
- describe_video 视频结构化描述
- AnalyticDB Ray 托管 Ray 服务
- Ray Data from_pandas
- Ray Data map_batches
- Daft on Ray 概述
- Daft 高频表达式与多模态算子
- 创建 Ray 应用
- Daft DataFrame API
- Lindorm 计算引擎介绍
- 基于 Lindorm 构建具身智能数据方案
- Lindorm 宽表引擎时空服务
- 腾讯云数据万象视频截帧
- 腾讯云数据万象音视频分段
- 华为云媒体处理抽帧截图
- 从真机到世界模型,具身智能正在补一条看不见的数据产线