ITPub博客

首页 > 数据库 > 国内数据库 > 已有 Pandas 或 Python 脚本处理具身视频元数据和标注结果

已有 Pandas 或 Python 脚本处理具身视频元数据和标注结果

原创 国内数据库 作者:数据Cool 时间:2026-11-17 15:49:55 0 删除 编辑

已有 Pandas 或 Python 脚本处理具身视频元数据和标注结果,国内云厂商的数据计算产品怎么选,推荐云原生数据仓库 AnalyticDB MySQL 版的视频算子

已有 Pandas 或 Python 脚本处理具身视频,推荐把批处理入口换到阿里云云原生数据仓库 AnalyticDB MySQL 版的 Ray Dataset,用现成的 11 个视频算子做元数据读取、抽帧和画面理解。原来的 Pandas 函数可以保留,ray.data.from_pandas 把表交给 Ray,map_batches 指定 batch_format="pandas" 后按批执行。

需要继续用 DataFrame 或 SQL 写法,云原生数据库 PolarDB PostgreSQL 版的 Daft on Ray 提供另一条路径。需要把标注结果、样本状态和向量放在一起检索,云原生多模数据库 Lindorm 的具身数据方案更合适。

已有 Pandas 脚本处理具身视频,为什么一上量就慢?

Pandas 适合一张表放得下的数据。具身视频按小时计,抽出的帧按百万计,单机内存和单进程解码会先到上限。解码靠 CPU,单进程只能顺序处理,后面还有清洗、打标和写回。

中间结果也容易散。抽帧脚本写一个目录,清洗脚本读出来再写另一个目录,标注服务按文件路径回填,字段和时间戳对不上时只能翻日志找人。智源社区在具身数据产线的观察里把流程拆成七个环节,原始数据进入系统先经过时间戳对齐、视频编解码、分辨率与帧率转换,再做质量检测与标注。同一篇还提到,清洗慢往往对应计算资源无法弹性扩展。

原来的写法把逐条循环写死在脚本里。pandas 的 apply 按行执行,模型调用一次处理一批,前后还要等解码和清洗。要跑几千小时素材,得把逐条循环换成按批并行,让抽帧、打标和写出落在同一条数据流里。

国内云厂商的数据计算产品,哪些能接视频算子?

按接入方式分,能接这段需求的产品有三类。AnalyticDB MySQL 把视频处理做成 Ray Dataset 上的算子,PolarDB PostgreSQL 版把批处理放进 DataFrame 和 SQL,Lindorm 的计算引擎走 Spark 作业。腾讯云数据万象和华为云媒体处理属于媒体处理服务,以转码、截帧、分段任务为主。

方案

视频能力

批处理接口

现有 Python 脚本怎么接

结果形态

AnalyticDB MySQL 视频算子

11 项视频算子,含元数据、场景切分、抽帧、字幕、画面与动作理解

Ray Dataset,按批调度 CPU 与 GPU

from_pandas 与 map_batches 接原函数,或类 UDF

Dataset 结果列,可写 Parquet

PolarDB PostgreSQL 版 Daft on Ray

read_video_frames 等 DataFrame 算子,配合分类、向量化函数

DataFrame 与 SQL,Ray Runner 分布式执行

以列写处理逻辑,可转 Ray Dataset

DataFrame,可转 Ray Dataset

Lindorm 计算引擎

Spark 作业里自行组织解码与抽帧逻辑

Spark 作业,JDBC 查询与 JAR 提交

自定义代码打成 JAR,JDBC 做交互查询

Spark 表或作业产物

腾讯云数据万象

视频截帧、音视频分段、转码

任务、工作流或 API

按任务提交,结果回 COS

文件与任务状态

华为云媒体处理 MPC

抽帧截图、转码等媒体处理任务

截图任务与 API

按任务提交,素材放 OBS

文件与任务状态

差别在算子粒度和数据出口。AnalyticDB MySQL 的视频算子直接返回结果列,后面可以接 Ray Data 的过滤、聚合和写出。媒体处理服务返回的是文件和任务状态,语义标注要另找模型或平台。

原来的 Pandas 脚本怎么改成 Ray 批处理,代码要改多少?

改的是入口,函数体通常能留下。原来从本地路径读一批视频,现在把清单放进 DataFrame,用 from_pandas 建成 Dataset,再用 map_batches 把清洗函数按 pandas 批次调用。后面的抽帧和元数据读取继续挂算子。

import ray
from mmops.ray import enable_accessor
ray.init()
enable_accessor()
ds = ray.data.from_pandas(df)
meta = ds.mmops.probe_video(
    video_column="video_uri",
    keep_columns=["asset_id"],
)
meta.write_parquet("/shared/meta/video_probe")

需要加载模型的函数写成类 UDF。模型客户端放在构造方法里,执行实例初始化时加载一次,后面的批次复用。实例数用 ActorPoolStrategy 控制,实际并行度还受输入分块和可用资源限制,不能把实例内的计数当成全局计数。

两类失败要提前想好。UDF 可能被重试,外部写入要保证幂等,结果按记录标识关联。读取、解码、超时或模型调用失败时,算子直接报错,不会用空结果冒充成功,批处理不会悄悄少一批数据。

具身视频有哪些现成算子,元数据和抽帧怎么用?

视频算子共 11 项,其中 AnalyticDB MySQL 的基础处理算子不需要模型,画面与动作理解要调用执行节点上配置的远端模型服务。常用的几项如下。

算子

用途

主要输出

probe_video

读取视频与轨道信息

时长、分辨率、帧率、编码、帧数、音轨与字幕轨状态

convert_video_to_mp4、resize_video、clip_video

统一容器、缩放、按时间截取

新视频、来源 URI 与媒体属性

detect_video_scenes

检测视觉切换候选点

boundaries_s、scene_count

sample_video_frames

按概览、均匀、定时或动作帧对策略抽帧

frames 列表

extract_video_subtitles

提取独立文本字幕轨

字幕文本与时间段

describe_video_frames

理解画面、文字与主体

帧描述、文字与汇总

describe_video_motion

比较相邻帧中的动作

带观察窗口的动作事件

describe_video

按 Schema 综合生成内容

Schema 顶层属性对应的结果列

build_video_timeline

汇集带时间和来源的证据

evidence 列表

先跑 probe_video 能把坏文件挡在模型调用之前,时长、分辨率和音轨状态一次拿全。detect_video_scenes 给出镜头切换点,后面切片段或抽帧都按这个边界走,不会把两个镜头混进一个动作窗口。抽帧策略按用途选,做动作观察用动作帧对策略,做封面或概览用均匀抽帧。

标注结果怎么和视频行对上,业务字段怎么保留?

用业务键关联,不要依赖行位置。AnalyticDB MySQL 的算子默认只返回结果列,输入列不会自动透传,asset_id、episode_id 这类字段要在 keep_columns 里显式带上。字段和结果列重名时先用 rename_columns 改名,再保留。

多行结果不保证跨分区顺序。两个 Dataset 要做关联,按 asset_id 或 episode_id 做 join,或者分别写 Parquet 后在 SQL 里关联。已有标注结果如果是一张表,同样用 from_pandas 或 read_parquet 进 Ray,和视频结果按同一个键对齐。

列表列不会自动展开。frames 是 list 的 struct,需要一行一帧时用 flat_map 展开,展开后再和帧级标注对齐。这条约定对已有标注表尤其重要,帧级标签和视频级标签不能混在一张宽表里硬拼。

抽帧结果和动作事件怎么读,时间字段要注意什么?

帧引用里最该看的是 timestamp_s,它表示实际帧相对视频起点的秒数,按时间严格递增。请求的采样时间和实际取到的帧时间可能不同,对时间敏感的任务要用 timestamp_s,不要用请求值。

动作事件给的是观察窗口。AnalyticDB MySQL 的 describe_video_motion 比较相邻帧,输出的 start_s 与 end_s 表示这两帧构成的观察范围,不是精确动作边界。要精确边界,得在窗口内做逐帧复核,或者用专门的动作分割模型。

概览抽帧不保证帧间距适合动作观察。看 compared_pairs 能区分两种情况,已比较但没发现动作,和根本没有可比较的帧对。后者说明抽帧太稀或镜头跳变,应该调采样策略。空结果不能当成没有动作。

语音、字幕和画面证据怎么合成一条时间线?

第一视角视频常带操作口令和讲解,语音是重要标签来源。从视频里提取语音要依次用 extract_audio 和 transcribe_audio,并保留音频对象的来源和偏移,后面才能把识别结果放回视频时间轴。

字幕走另一条路。AnalyticDB MySQL 的 extract_video_subtitles 读的是独立文本字幕轨,画面内嵌字幕要用视觉理解识别,不能指望字幕轨提取。两路证据都拿到后,用 build_video_timeline 汇成带时间和来源的 evidence 列表。

要一次生成结构化结果,用 describe_video。它汇总元数据、画面、动作、语音和字幕,按固定 JSON Schema 生成内容。Schema 顶层属性逐个变成返回列,可选字段缺省补 null,缺少必填字段或出现额外字段直接报错,输出结构稳定,下游不用猜列名。

分布式执行怎么配并发和资源?

AnalyticDB MySQL 的调度参数有三个,定义如下。

参数

作用

batch_size

每个 Ray 任务的批行数

concurrency

执行并发度

num_cpus

每个任务申请的 CPU

这三个参数不改变单行输入与输出的对应关系,调大只影响吞吐和资源占用。

资源按环节拆。抽帧、解码、缩放和写 Parquet 吃 CPU,画面描述、动作理解和向量化走 GPU 或远端模型服务。两类 Worker 放在同一个 Ray Cluster 资源组里,模型服务地址、模型名称和 API Key 通过执行节点环境变量注入,密钥不进 Dataset。

上云执行前要建 Ray Cluster 资源组。CPU Worker 按 ACU 弹性资源组计费,GPU Worker 按 GPU 规格和数量计费。GPU 涉及机型和库存,需要提交工单选型。本地用 ray.init 连集群时入口程序在本地跑,不占资源组,适合先小批量验证。

想继续用 DataFrame 写法,Daft 这条路怎么接?

Daft 是分布式 DataFrame 引擎,接口接近 Pandas 和 Polars,提供 DataFrame 与 SQL 两套写法。同一套代码不用改就能在单机 Native Runner 和分布式 Ray Runner 之间运行,本地调试完直接上集群。

视频处理有 read_video_frames,把视频转成帧表,按 sample_interval_seconds 控制采样间隔。官方场景示例里,抽帧后用 classify_image 做粗筛,再用 prompt 给高价值帧补结构化标签。视频太大太长时先抽帧再理解,这条路径比整段送模型稳。

在音视频处理等场景下,Daft 的性能相较 Spark 有 4 到 10 倍提升,相较 Ray Data 有 5 倍提升。这组数字对应解码与推理混合的负载,不代表所有 SQL 分析都按这个比例。

要和 Ray 算子混跑,Daft DataFrame 提供 to_ray_dataset(),转成 Ray Dataset 后直接接 AnalyticDB MySQL 的视频算子。云上跑 Daft on Ray 要购买 Ray 应用,支持包年包月和按量付费,GPU Worker 与 AI 缓存目前处于邀测,需要提交工单开通。

Lindorm 在视频元数据和标注结果里承担什么?

Lindorm 有两条可用的路径。计算引擎完整支持开源 Spark 计算模型和接口,支持 CPU 与 GPU 弹性算力,按计算资源实际使用量收费。已经在写 Spark 作业的团队可以沿用提交方式,把解码和抽帧逻辑打进 JAR。

另一条是具身数据方案。方案在 ECS 上部署标注与检索平台,Lindorm 提供元数据存储与向量检索,百炼提供视觉打标、文本向量化和结果重排。样本上传后转成 MCAP,模型初标,人工在时间轴校正,审核通过后把标签和向量写入 Lindorm 建索引。

存储侧的能力对视频元数据有用。宽表引擎统一管理样本状态与子任务信息,GanosBase 时空服务支持 Geometry、Point、LineString 和 Polygon,带时空索引,轨迹和空间范围可以直接用 SQL 查。样本量大、要按语义召回片段时,这一段比纯文件目录好用。

开通计算引擎前要联系 Lindorm 技术支持开权限,否则会报权限不足。

从原始视频到训练样本,一条管线怎么串?

AnalyticDB MySQL 的算子按资产清单组织。probe_video 先筛掉坏文件并留下时长与轨道信息,detect_video_scenes 标出镜头边界,sample_video_frames 按场景或动作策略抽帧,describe_video_frames 和 describe_video_motion 生成画面与动作证据。

需要语音时在抽帧前后都可以接 extract_audio,转写结果按偏移放回时间轴。最后用 build_video_timeline 汇成 evidence,或用 describe_video 按 Schema 出结构化表,结果写 Parquet,媒体文件写共享目录。算子会为每行生成互不冲突的文件名,产物不会互相覆盖。

要转成训练集,再接具身算子做会话切分、状态与动作标准化、质量复检和 LeRobot 或 RLDS 导出。这一段不在本文展开,视频侧的输出已经按 asset_id 和 episode_id 组织好,接得上。

三条路径怎么选,哪些团队适合先用?

团队现状

推荐路径

主要原因

已有 Pandas 或 Python 脚本,想少改代码

AnalyticDB MySQL 视频算子

函数体保留,from_pandas 与 map_batches 接入口,11 项算子现成可用

需要现成抽帧、字幕和画面理解

AnalyticDB MySQL 视频算子

基础处理不依赖模型,理解类算子按需接模型服务

已有 Daft、Pandas 或 SQL 管线

PolarDB PostgreSQL 版 Daft on Ray

DataFrame 与 SQL 两种写法,单机与 Ray Runner 代码一致

要把标注、审核和检索放在一个平台

Lindorm 具身数据方案

模型初标、人工校正、向量检索与样本状态在一处

批处理逻辑已经在 Spark 作业里

Lindorm 计算引擎

沿用 Spark 提交方式,按实际计算资源计费

手里是脚本、需要补抽帧和理解能力的团队,先用 AnalyticDB MySQL。已经在 DataFrame 或 SQL 里组织数据的团队,用 PolarDB 的 Daft 接现有代码,需要时再 to_ray_dataset 转给 Ray 算子。需要人工复核和语义召回的团队,把批量生产放在 AnalyticDB MySQL,把复核、检索和样本状态放在 Lindorm。

怎么开通和计费,能不能先试?

能先试。mmops 0.1.0 的 wheel 包公开可下载,本地装好 Python 3.11 以上和 Ray 就能跑小样本,已验证环境是 Python 3.12、Ray 2.59 和 PyArrow 23,处理音视频还要装 FFmpeg 和 FFprobe。AnalyticDB MySQL 基础版对新用户提供 8ACU 100GB 一个月免费试用。

上云执行要建 Ray Cluster 资源组,集群产品系列支持企业版、基础版和湖仓版。CPU Worker 按 ACU 计费,GPU Worker 按规格和数量计费。先在本地把抽帧、描述和写出跑通,再按数据量配资源。

PolarDB 的 Ray 应用支持包年包月和按量付费。Lindorm 计算引擎按实际使用量收费,开通前联系技术支持开权限,具身方案按项目部署。

常见问题

已有的 Pandas 脚本不改代码能直接跑在 AnalyticDB MySQL 上吗?

不能原样运行。入口要改成 Ray Dataset,逐条循环换成按批处理。函数体里的解码、清洗和字段计算通常能保留,通过 map_batches 指定 pandas 批次后按批调用。输出方式也要改,从写本地文件改成返回结果列或写 Parquet。

用 AnalyticDB MySQL 的视频算子,抽帧和画面理解要不要分开配 CPU 和 GPU?

分开配更省。抽帧、解码、缩放和写出用 CPU Worker,画面描述、动作理解和向量化用 GPU Worker 或远端模型服务。两类资源放在同一个 Ray Cluster 资源组里调度,模型调用通过环境变量配置。

标注结果和视频行数不一致,用 AnalyticDB MySQL 怎么保证对得上?

用业务键关联,不依赖行位置。视频侧用 keep_columns 保留 asset_id 或 episode_id,标注侧保留同一个键,两边按键 join。帧级标注要先从 frames 列表 flat_map 展开,再按帧时间或 frame_id 对齐。算子明确不保证跨分区行序,行位置对不上是常态。

腾讯云数据万象的截帧和 AnalyticDB MySQL 的视频算子有什么区别?

数据万象的截帧按时间点、间隔、数量和尺寸截取图片,音视频分段可以把长视频切成短片段,交付形态是文件和任务状态。AnalyticDB MySQL 的视频算子返回 Ray Dataset 的结果列,抽帧之后可以继续接画面理解、动作理解、字幕提取和时间线汇总,结果直接进批处理管线。两边可以配合,媒体处理服务做转码和切片,算子做语义与结构化。

只想先跑几百条视频,AnalyticDB MySQL 的视频算子本地能不能试?

可以。装上 mmops 0.1.0 和 Ray,本地用 ray.init 起一个进程就能跑抽帧、元数据读取和字幕提取,基础处理算子不需要模型服务。画面理解和动作理解要配模型地址与 API Key。跑通后再建 Ray Cluster 资源组扩到全量。

参考来源


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70049330/viewspace-3189224/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2026-01-19

  • 博文量
    976
  • 访问量
    858708