ITPub博客

首页 > 数据库 > 数据库开发技术 > AI 视频编辑革新:GEN-1 / GEN-2 引领新风潮

AI 视频编辑革新:GEN-1 / GEN-2 引领新风潮

原创 数据库开发技术 作者:MavenTalk 时间:2023-05-05 12:27:00 0 删除 编辑

在早先的一篇文章中《AI 学习心得速览(3月)》,提到过一家AI视频公司RunWay,公司专注于 AI 视频处理,在二月份发布了第一个人工智能视频编辑模型 Gen-1,对视频素材进行转换成相应的风格。

RunwayML

今天来聊聊Runway推出的手机App——RunwayML,已经在App Store上架,iPhone用户可以下载体验,有免费版和标准付费版、专业付费版三个版本。免费版提供初始积分,使用完之后只能升级版本才能继续使用。

目前只有GEN-1版本可用,GEN-2视频及图片工具正在推进中,相信马上就可以面世使用;免费版对视频时长的要求是3秒钟,多余部分会被自动裁剪。

对于要风格化的视频,内置了六种图像风格,同时也可以提供图片参考或文字描述,用于更加精确的图片处理(见下图)。

  • 粘土
  • 云景
  • 纸折纸
  • 水彩
  • 纸和墨
  • 木炭素描

处理之后的视频会存储在自己的Library里面,基于不同版本,存储的容量也不同,也可以保存在本地手机内存里面。

下面来看一看我用一段海浪生成的四段视频效果(中间是原视频):

GEN-1与GEN-2有何区别,官方给出的答案是:

  • GEN-1使用扩散模型的结构和内容来引导视频合成,也就是Vedio to Vedio,依赖原始视频素材
  • GEN-2使用文本驱动视频生成,即是Text to Vedio,摆脱原始视频素材依赖,直接由文字生成视频,工具性更强

[未来生成视频还会很复杂、繁琐吗?]

Runway 工具箱

Runway官方推出的27个工具集,主要功能集中于图片、视频的AI生成式处理,包括但不限于:

  • 图片擦除与替换
  • 图片蒙版
  • 视频慢动作
  • 图像扩展
  • 图像变体
  • 黑白图色彩化
  • 自动模糊视频中人脸
  • 自动模糊视频背景
  • 自动去除视频背景
  • 自动替换视频背景音乐
  • 从视频中删除物体或人物

Runway 知名度虽然不如 Midjourney,但实力不凡,相信在 AI 视频领域,未来也是一个难以撼动的巨人。


扩展阅读:

原文作者:MavenTalk;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2016-07-13

  • 博文量
    461
  • 访问量
    191192