目前的视频生成算法还处于初级阶段。还需要将很多视频语义理解动作生成的经典算法能力align到视频生成算法中。我花了个下午的时间盘了下整个CVPR2024年的所有视频领域的论文，将有代码的paper都集合到这里了。有些论文作者承诺公开代码但还没有公开。

其中，meta 的视频生成视频的算法 FlowVid我觉得很好的。虽然没有代码，我也放到一起了。

另外，新加坡国立大学的showlab一直在耕耘视频生成领域。这次他们的论文将动态神经辐射场（NeRF）作为创新的视频表示，也有不少新意。也许确实能提升视频的逼真度。代码也有，欢迎大家细嚼。

1

Visual Objectification in Films: Towards a New AI Task for Video Interpretation

Julie Tores (Université Côte d'Azur) · Lucile Sassatelli (Universite Cote d'Azur) · Hui-Yin Wu (Inria at Université Côte d'Azur) · Clement Bergman (INRIA) · Léa Andolfi (CELSA-Sorbonne) · Victor Ecrement (Sorbonne Université) · Frederic Precioso (Universite Cote d'Azur) · Thierry Devars (Université Paris-Sorbonne (Paris IV)) · Magali GUARESI (CNRS) · Virginie Julliard (Université Paris-Sorbonne (Paris IV)) · Sarah Lécossais (Sorbonne Paris Nord)

在电影性别研究中，"男性视角"的概念是指电影中的人物被描绘为欲望的对象，而不是主体。在本文中，我们引入了一项新的视频解释任务，用于检测电影中的人物凝视。目的是揭示和量化电影中使用的复杂时序模式，以产生凝视的认知感知。我们引入了ObyGaze12数据集，由1914个电影剪辑和专家密集注释组成，这些剪辑被标识为电影研究和心理学中的凝视概念。我们评估了最近的视觉模型，展示了任务的可行性以及概念瓶颈模型中仍存在的挑战。我们的新数据集和代码已经提供给社区使用。

简而言之，本文引入了一项新的视频解释任务，用于检测电影中的人物凝视，并提供了一个名为ObyGaze12的新数据集，用于评估任务的可行性和挑战。我们的目标是揭示电影中使用的复杂时序模式，以产生凝视的认知感知，并量化其使用情况。我们希望通过这项工作促进电影性别研究和计算机视觉领域的交叉研究，并为未来的研究提供一个有用的数据集和基准。

2

360DVD: Controllable Panorama Video Generation with 360-Degree Video Diffusion Model

Qian Wang (Peking University) · Weiqi Li (Peking University) · Chong Mou (Peking University) · Xinhua Cheng (Peking University) · Jian Zhang (None)

360度全景视频最近在研究和应用方面引起了更多的关注，因为它们带来了更强的沉浸感体验。由于捕捉360度全景视频的成本昂贵，需要根据给定的提示生成可取的全景视频。最近，新兴的文本到视频（T2V）扩散方法在标准视频生成方面表现出了显著的效果。然而，由于全景视频和标准视频在内容和运动模式方面存在显著差异，这些方法在产生满意的360度全景视频方面遇到了挑战。在本文中，我们提出了一种可控的全景视频生成管道，称为360度视频扩散模型（360DVD），用于根据给定的提示和运动条件生成全景视频。具体来说，我们引入了一个轻量级模块，称为360-Adapter和辅助的360增强技术，用于将预训练的T2V模型转换为用于360度视频生成的模型。我们进一步提出了一个新的全景数据集WEB360，由360度视频-文本对组成，用于训练360DVD，解决了字幕全景视频数据集缺失的问题。广泛的实验证明了360DVD在全景视频生成方面的优越性和效果。代码和数据集将很快发布。

简而言之，本文提出了一种可控的全景视频生成管道，称为360度视频扩散模型（360DVD），用于根据给定的提示和运动条件生成全景视频。我们引入了一个轻量级模块和辅助的增强技术，用于将预训练的T2V模型转换为用于360度视频生成的模型。我们还提出了一个新的全景数据集WEB360，用于训练360DVD。我们的实验结果证明了360DVD在全景视频生成方面的优越性和效果。我们希望通过这项工作推进全景视频生成的研究，并为未来的研究提供一个有用的数据集和基准。

3

Putting the Object Back into Video Object Segmentation

Ho Kei Cheng (University of Illinois Urbana-Champaign) · Seoung Wug Oh (Adobe Systems) · Brian Price (Adobe Research) · Joon-Young Lee (Adobe Research) · Alexander G. Schwing (UIUC)

我们提出了Cutie，一个具有对象级内存读取的视频物体分割（VOS）网络，它将内存中的物体表示重新放回视频物体分割结果中。最近在VOS方面的工作采用了底向上的像素级内存读取，但是由于匹配噪声的存在，特别是在有干扰物的情况下，其性能较低。相比之下，Cutie通过适应一个小型的物体查询集来执行顶向下的对象级内存读取，该查询集用于与底向上的像素特征进行迭代重组和交互，使用基于查询的对象变换器（qt，因此称为Cutie）。物体查询作为目标物体的高级摘要，而保留高分辨率的特征图用于精确的分割。通过使用前景-背景掩码注意力，Cutie可以清晰地将前景物体的语义与背景分离。在具有挑战性的MOSE数据集上，Cutie比XMem提高了8.7 J&F，运行时间相似，比DeAOT提高了4.2 J&F，而运行速度快了三倍。代码在以下网址可用：https://hkchengrex.github.io/Cutie

总的来说，我们提出了一种新的视频物体分割网络Cutie，它通过对象级内存读取来提高分割性能，并通过前景-背景掩码注意力来清晰地分离前景物体和背景。我们在MOSE数据集上进行了实验，证明了Cutie比现有方法具有更好的性能和更快的运行速度。我们希望通过这项工作为未来的视频物体分割研究提供一些思路和启发。

4

Dancing with Still Images: Video Distillation via Static-Dynamic Disentanglement

Ziyu Wang (Shanghai Jiao Tong University) · Yue Xu (Shanghai Jiao Tong University) · Cewu Lu (Shanghai Jiao Tong University) · Yonglu Li (Shanghai Jiaotong University)

最近，数据集蒸馏为机器学习尤其是图像数据集提供了更有效的方法。然而，视频数据集的蒸馏由于其独特的时间维度而仍然是一个未充分探索的领域。在这项工作中，我们提供了视频蒸馏的第一个系统研究，并引入了一个分类时间压缩的分类法。我们的调查发现，时间信息通常在蒸馏过程中学习得不好，合成数据的时间维度的贡献很小。这些观察结果促使我们提出了一种将视频中的动态和静态信息分离的统一框架。它首先将视频蒸馏成静态记忆的静止图像，然后使用可学习的动态记忆块补偿动态和运动信息。我们的方法在不同尺度的视频数据集上取得了最好的结果，并且存储开销明显减少。我们的代码将对公众开放。

总的来说，我们提出了一种将视频中的动态和静态信息分离的统一框架，用于视频数据集的蒸馏。我们的方法在不同尺度的视频数据集上取得了最好的结果，并且存储开销明显减少。我们希望通过这项工作为未来的视频数据集蒸馏研究提供一些思路和启发。

5

VideoCon: Robust Video-Language Alignment via Contrast Captions

Hritik Bansal (University of California, Los Angeles) · Yonatan Bitton (Google) · Idan Szpektor (Google) · Kai-Wei Chang (University of California, Los Angeles) · Aditya Grover (University of California, Los Angeles)

尽管在大量数据上进行了（预）训练，但最新的视频-语言对齐模型对视频字幕中的语义可行对比性变化并不鲁棒。我们的工作通过识别一系列对比误差对齐，例如替换实体、动作和翻转事件顺序等，来解决这个问题，对齐模型应该能够抵御这些误差。为此，我们引入了VideoCon，一个由大型语言模型构造的视频-语言对齐数据集，该模型生成可行的对比视频字幕和解释原始和对比视频字幕之间差异的解释。然后，使用VideoCon对生成性视频-语言模型进行微调，以评估视频-语言蕴涵并生成解释。基于VideoCon的对齐模型在视频-语言对齐任务的人工生成对比字幕上的AUC方面比当前的模型有显著提高，提高了12个点。最后，我们的模型在文本到视频检索（SSv2-Temporal）和视频问答（ATP-Hard）等临时扩展的视频-语言任务中实现了新的零样本性能。此外，我们的模型在新视频和人工制作的字幕和解释方面表现出优越的性能。我们的代码和数据在https://github.com/Hritikbansal/videocon上可用。

总的来说，我们通过识别一系列对比误差对齐来解决视频-语言对齐模型对视频字幕中的语义可行对比性变化不鲁棒的问题。我们引入了VideoCon数据集，并使用VideoCon对生成性视频-语言模型进行微调，以评估视频-语言蕴涵并生成解释。我们的模型在视频-语言对齐任务和临时扩展的视频-语言任务中取得了新的零样本性能，并在新视频和人工制作的字幕和解释方面表现出优越的性能。我们希望通过这项工作为未来的视频-语言对齐研究提供一些思路和启发。

6

A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition

Yusheng Dai (University of Science and Technology of China) · HangChen (University of Science and Technology of China) · Jun Du (University of Science and Technology of China) · Ruoyu Wang (University of Science and Technology of China) · shihao chen (University of Science and Technology of China) · Haotian Wang (University of Science and Technology of China) · Chin-Hui Lee (Georgia Institute of Technology)

先进的音视频语音识别（AVSR）系统已被观察到对缺失的视频帧非常敏感，甚至比单模态模型表现更差。虽然在视频模态上应用丢弃技术可以增强对缺失帧的鲁棒性，但同时也会导致处理完整数据输入时的性能下降。在本文中，我们从模态偏差的角度调查了这种对比现象，并发现过度的音频模态偏差是由于丢弃导致的底层原因。此外，我们提出了模态偏差假设（MBH），以系统地描述多模态系统中模态偏差和对缺失模态的鲁棒性之间的关系。基于这些发现，我们提出了一种新的多模态分布近似与知识蒸馏（MDA-KD）框架，以减少对音频模态的过度依赖，并同时保持性能和鲁棒性。最后，为了解决完全缺失的模态，我们采用适配器动态切换决策策略。通过使用MISP2021和MISP2022数据集进行的一系列综合实验，评估和验证了我们所提出方法的有效性。我们的代码在https://github.com/dalision/ModalBiasAVSR上公开可用。

总的来说，我们调查了先进的音视频语音识别系统对缺失视频帧的敏感性，并从模态偏差的角度解释了这种对比现象。我们提出了模态偏差假设，以系统地描述多模态系统中模态偏差和对缺失模态的鲁棒性之间的关系。基于这些发现，我们提出了一种新的多模态分布近似与知识蒸馏（MDA-KD）框架，以减少对音频模态的过度依赖，并同时保持性能和鲁棒性。我们的方法在MISP2021和MISP2022数据集上取得了良好的结果，并在https://github.com/dalision/ModalBiasAVSR上公开可用。

7

UniVS: Unified and Universal Video Segmentation with Prompts as Queries

Minghan Li (The Hong Kong Polytechnic University ) · Shuai Li (The Hong Kong Polytechnic University) · Xindong Zhang (The Hong Kong Polytechnic University, Hong Kong Polytechnic University) · Lei Zhang (The Hong Kong Polytechnic University)

尽管最近在统一图像分割（IS）方面取得了进展，但开发一个统一的视频分割（VS）模型仍然是一个挑战。这主要是因为通用的类别特定的VS任务需要检测所有对象并在连续的帧中跟踪它们，而提示引导的VS任务需要在整个视频中使用视觉/文本提示重新识别目标，使得用同一架构处理不同的任务变得困难。我们试图解决这些问题，并提出了一种新颖的统一VS架构，称为UniVS，它使用提示作为查询。UniVS平均目标的先前帧的提示特征作为其初始查询，以显式解码掩码，并在掩码解码器中引入了一个面向目标的提示交叉注意力层，以在内存池中集成提示特征。通过将实体的先前帧的预测掩码作为它们的视觉提示，UniVS将不同的VS任务转换为提示引导的目标分割，消除了启发式的交叉帧匹配过程。我们的框架不仅统一了不同的VS任务，而且在训练和测试方面自然地实现了通用性，确保在不同场景下具有健壮的性能。UniVS在10个挑战性的VS基准测试中表现出了可嘉的平衡，包括视频实例、语义、全景、对象和指代分割任务。代码可以在https://github.com/MinghanLi/UniVS找到。

总的来说，我们提出了一种新颖的统一VS架构UniVS，它使用提示作为查询来解决不同VS任务的挑战。UniVS平均目标的先前帧的提示特征作为其初始查询，以显式解码掩码，并在掩码解码器中引入了一个面向目标的提示交叉注意力层，以在内存池中集成提示特征。我们的框架不仅统一了不同的VS任务，而且在训练和测试方面自然地实现了通用性，确保在不同场景下具有健壮的性能。UniVS在10个挑战性的VS基准测试中表现出了可嘉的平衡，包括视频实例、语义、全景、对象和指代分割任务。我们的代码可以在https://github.com/MinghanLi/UniVS找到。

8

GlitchBench: Can large multimodal models detect video game glitches?

Mohammad Reza Taesiri (University of Alberta) · Tianjun Feng (University of Alberta) · Cor-Paul Bezemer (University of Alberta) · Anh Nguyen (Auburn University)

随着大规模多模态模型（LMMs）从大规模语言模型（LLMs）演化而来，集成了多种输入模态，例如视觉输入。这种集成增强了LLMs在需要视觉理解和推理的任务中的能力。然而，它们增强能力的程度和限制还不是完全理解的，特别是在面对真实世界任务时。为了解决这个问题，我们引入了GlitchBench，一个新颖的基准测试，它源自视频游戏质量保证任务，用于测试和评估LMMs的推理能力。我们的基准测试来自于各种不寻常和故障的视频游戏场景，旨在挑战LMMs在检测和解释不常见事件方面的视觉和语言推理能力。我们评估了多个最新的LMMs，并显示GlitchBench对这些模型呈现了新的挑战。代码和数据可在：https://glitchbench.github.io/ 获取。

总的来说，我们引入了GlitchBench，一个新颖的基准测试，用于测试和评估LMMs的推理能力。我们的基准测试来自于各种不寻常和故障的视频游戏场景，旨在挑战LMMs在检测和解释不常见事件方面的视觉和语言推理能力。我们评估了多个最新的LMMs，并显示GlitchBench对这些模型呈现了新的挑战。我们的代码和数据可在https://glitchbench.github.io/获取。

9

InstructVideo: Instructing Video Diffusion Models with Human Feedback

Hangjie Yuan (Nanyang Technological University) · Shiwei Zhang (Alibaba Group) · Xiang Wang (Huazhong University of Science and Technology) · Yujie Wei (Fudan University) · Tao Feng (Tsinghua University) · Yining Pan (Singapore University of Technology and Design) · Yingya Zhang (Alibaba Group) · Ziwei Liu (Nanyang Technological University) · Samuel Albanie (University of Cambridge) · Dong Ni (Zhejiang University)

扩散模型已成为视频生成的事实上的范例。然而，它们对质量各异的网络规模数据的依赖通常会产生视觉上不吸引人并且与文本提示不一致的结果。为了解决这个问题，我们提出了InstructVideo，通过奖励细调来指导文本到视频的扩散模型与人类反馈进行交互。InstructVideo有两个关键组成部分：1）为了缓解由完整DDIM采样链生成引起的奖励细调成本，我们将奖励细调重新形式化为编辑。通过利用扩散过程对采样视频进行破坏，InstructVideo只需要部分DDIM采样链的推理，从而降低了细调成本并提高了细调效率。2）为了减轻人类偏好专用视频奖励模型缺失的影响，我们重新利用了已建立的图像奖励模型，如HPSv2。为此，我们提出了段式视频奖励机制，根据段式稀疏采样提供奖励信号，以及时间衰减奖励方法，缓解了细调期间时序建模的降级。实施了大量的定性和定量实验，证明了在InstructVideo中使用图像奖励模型的可行性和效果，显著提高了生成视频的视觉质量，而不会损害泛化能力。代码和模型将公开提供。

总的来说，我们提出了InstructVideo，通过奖励细调来指导文本到视频的扩散模型与人类反馈进行交互。我们重新形式化了奖励细调为编辑，利用扩散过程对采样视频进行破坏，从而降低了细调成本并提高了细调效率。我们还重新利用了已建立的图像奖励模型，提出了段式视频奖励机制和时间衰减奖励方法，缓解了细调期间时序建模的降级。实施了大量的定性和定量实验，证明了在InstructVideo中使用图像奖励模型的可行性和效果，显著提高了生成视频的视觉质量，而不会损害泛化能力。我们的代码和模型将公开提供。

10

LAMP: Learn A Motion Pattern for Few-Shot Video Generation

Rui-Qi Wu (Nankai University) · Liangyu Chen (Megvii Technology Inc.) · Tong Yang (Fudan University) · Chun-Le Guo (None) · Chongyi Li () · Xiangyu Zhang (MEGVII Technology)

随着扩散式文本到图像生成取得了惊人的进展，将这种强大的生成能力扩展到文本到视频方面引起了巨大的关注。现有的方法要么需要大规模的文本-视频对和大量的训练资源，要么学习到的动作与模板视频精确对齐。在视频生成方面平衡生成自由度和资源成本之间的权衡是一个非常复杂的问题。在我们的研究中，我们提出了一种基于少样本的调整框架LAMP，它使文本到图像扩散模型能够使用8~16个视频在单个GPU上学习特定的运动模式。具体来说，我们设计了一个基于首帧条件的管道，使用现成的文本到图像模型进行内容生成，使得我们的调整后的视频扩散模型主要专注于运动学习。成熟的文本到图像技术可以提供视觉上令人愉悦且多样化的内容作为生成条件，从而大大提高了视频质量和生成自由度。为了捕捉时间维度的特征，我们将T2I模型的预训练2D卷积层扩展到我们的新颖的时空运动学习层，并将注意力块修改为时间级别。此外，我们开发了一种有效的推理技巧，共享噪声采样，它可以提高视频的稳定性，同时计算成本较低。我们的方法还可以灵活地应用于其他任务，如真实世界图像动画和视频编辑。实施了大量的实验，证明了LAMP可以在有限的数据上有效地学习运动模式，并生成高质量的视频。代码和模型可在https://rq-wu.github.io/projects/LAMP获得。

总的来说，我们提出了一种基于少样本的调整框架LAMP，使文本到图像扩散模型能够使用8~16个视频在单个GPU上学习特定的运动模式。我们设计了一个基于首帧条件的管道，使用现成的文本到图像模型进行内容生成，将注意力集中在运动学习上。我们还将T2I模型的预训练2D卷积层扩展到了时空运动学习层，并将注意力块修改为时间级别。我们开发了一种有效的推理技巧，共享噪声采样，它可以提高视频的稳定性，同时计算成本较低。实施了大量的实验，证明了LAMP可以在有限的数据上有效地学习运动模式，并生成高质量的视频。我们的代码和模型可在https://rq-wu.github.io/projects/LAMP获得。

11

Binarized Low-light Raw Video Enhancement

Gengchen Zhang (Beijing Institute of Technology) · Yulun Zhang (ETH Zürich) · Xin Yuan (Westlake University) · Ying Fu (None)

目前用于超谱图像（HSI）重建的深度学习模型表现良好，但需要强大的硬件和巨大的内存和计算资源。因此，这些方法难以部署在资源有限的移动设备上。在本文中，我们提出了一种新颖的方法，称为二值谱 redistribute 网络（BiSRNet），用于在快照压缩成像（SCI）系统中从压缩测量中有效和实用地恢复HSI。首先，我们重新设计了一个紧凑、易部署的基础模型，使其可以二值化。然后，我们提出了基本单元，即二值化谱 redistribute 卷积（BiSR-Conv）。BiSR-Conv可以自适应地重新分配HSI表示，在二值化激活之前，并使用可缩放的双曲正切函数更准确地近似反向传播中的Sign函数。基于我们的BiSR-Conv，我们定制了四个二值化卷积模块，以解决尺寸不匹配并在整个网络中传播全精度信息。最后，我们通过使用所提出的技术对基础模型进行二值化得到BiSRNet。综合定量和定性实验表明，我们所提出的BiSRNet优于最新的二值化方法，并取得了与全精度算法可比较的性能。代码和模型已在https://github.com/caiyuanhao1998/BiSCI和https://github.com/caiyuanhao1998/MST上公开。

总的来说，我们提出了一种新颖的方法，称为BiSRNet，用于在快照压缩成像（SCI）系统中从压缩测量中有效和实用地恢复HSI。我们重新设计了一个紧凑、易部署的基础模型，并提出了基本单元BiSR-Conv，用于自适应地重新分配HSI表示，并使用可缩放的双曲正切函数更准确地近似反向传播中的Sign函数。我们还定制了四个二值化卷积模块，以解决尺寸不匹配并在整个网络中传播全精度信息。综合定量和定性实验表明，我们所提出的BiSRNet优于最新的二值化方法，并取得了与全精度算法可比较的性能。我们的代码和模型已在https://github.com/caiyuanhao1998/BiSCI和https://github.com/caiyuanhao1998/MST上公开。

12

Sparse Global Matching for Video Frame Interpolation with Large Motion

Chunxu Liu (Nanjing University) · Guozhen Zhang (Nanjing University) · Rui Zhao (Qing Yuan Research Institute, Shanghai Jiao Tong University) · Limin Wang (Nanjing University)

尽管在半监督学习的图像目标检测方面取得了重大进展，但视频目标检测还有几个关键问题需要解决：（1）实现视频目标检测的好性能大程度上取决于可用的标注帧。（2）尽管视频中存在大量的跨帧相关性，但收集大量帧的标注是昂贵、耗时且通常是冗余的。（3）现有的静态图像半监督技术难以利用视频中本质上存在的时间动力学。在本文中，我们提出了SSVOD，一个端到端的半监督视频目标检测框架，利用视频的动力学特性来利用大规模的无标注帧和稀疏标注。为了选择性地组装一组帧中的健壮伪标签，我们引入了来自临近帧的流形预测用于时序一致性估计。具体地，我们在一组估计的预测上引入了基于交叉IoU和交叉差异的选择方法，分别包括用于边界框和类别标签的健壮伪标签。为了在伪标签中平衡确认偏差和不确定性噪声，我们提出了基于置信度阈值的硬和软伪标签的组合。我们的方法在ImageNet-VID、Epic-KITCHENS和YouTube-VIS数据集上取得了显著的性能提高。代码和预训练模型将被发布。

总的来说，我们提出了SSVOD，一个端到端的半监督视频目标检测框架，利用视频的动力学特性来利用大规模的无标注帧和稀疏标注。我们引入了流形预测和基于交叉IoU和交叉差异的选择方法，以选择性地组装一组帧中的健壮伪标签。我们还提出了基于置信度阈值的硬和软伪标签的组合，以平衡确认偏差和不确定性噪声。我们的方法在ImageNet-VID、Epic-KITCHENS和YouTube-VIS数据集上取得了显著的性能提高。我们的代码和预训练模型将被发布。

13

Relightable and Animatable Neural Avatar from Sparse-View Video

Zhen Xu (Zhejiang University) · Sida Peng (None) · Chen Geng (Stanford University) · Linzhan Mou (Zhejiang University) · Zihan Yan (University of Illinois Urbana-Champaign) · Jiaming Sun (Image Derivative Inc.) · Hujun Bao (Zhejiang University) · Xiaowei Zhou (None)

本文尝试解决使用稀疏视图（或甚至单眼）视频创建可重新光照和可动画的神经头像的挑战，这些视频中包含动态人物的未知照明条件。与工作室环境相比，这种设置更实用、更易访问，但也带来了一个极其复杂的反演问题。以前的神经人体重建方法能够使用变形符号距离函数（SDF）从稀疏视图中重建可动画的头像，但无法恢复材质参数以进行重新光照。虽然基于可微逆渲染的方法已成功地恢复了静态物体的材质，但将其扩展到动态人体是非常困难的，因为在变形的SDF上计算像素-表面交叉和光线可见性以进行逆渲染是计算密集型的。为了解决这个挑战，我们提出了一种分层距离查询（HDQ）算法来近似任意人体姿势下的世界空间距离。具体地，我们基于参数人体模型估计粗略距离，并通过利用SDF的局部变形不变性来计算细粒度距离。基于HDQ算法，我们利用球面追踪有效地估计表面交叉和光线可见性。这使我们能够开发出第一个能够从稀疏视图（或单眼）输入中恢复可动画和可重新光照的神经头像的系统。实验结果表明，我们的方法比最新的方法产生了更好的结果。为了可复制性，我们将发布代码。

总的来说，本文提出了一种分层距离查询（HDQ）算法来近似任意人体姿势下的世界空间距离，并基于该算法使用球面追踪有效地估计表面交叉和光线可见性。这使我们能够开发出第一个能够从稀疏视图（或单眼）输入中恢复可动画和可重新光照的神经头像的系统。我们的方法比最新的方法产生了更好的结果。为了可复制性，我们将发布代码。

14

Can I Trust Your Answer? Visually Grounded Video Question Answering

Junbin Xiao (None) · Angela Yao (National University of Singapore) · Yicong Li (national university of singaore, National University of Singapore) · Tat-seng Chua (National University of Singapore)

我们研究视觉锚定的VideoQA，以响应利用预训练技术进行视频-语言理解的新趋势。具体来说，通过强制视觉-语言模型（VLMs）回答问题并同时提供视觉证据，我们希望确定这些技术的预测程度在真正基于相关视频内容还是来自语言或无关视觉上下文的虚假相关性。为此，我们构建了NExT-GQA，它是NExT-QA的扩展，包含10.5

�

K个与原始QA对相关的临时锚定（或定位）标签。利用NExT-GQA，我们审查了各种最新的VLMs。通过事后注意力分析，我们发现这些模型在证明答案方面表现较弱，尽管它们的QA性能很强。这暴露了这些模型在做出可靠预测方面的严重限制。为了解决这个问题，我们进一步探索并建议通过高斯掩码优化和跨模态学习来实现视频锚定机制。使用不同的基础模型进行实验表明，这种锚定机制既提高了视频锚定，也提高了QA。我们发布了数据集和代码。通过这些努力，我们旨在推动在VQA系统中部署VLMs的可靠性。

总的来说，我们研究了视觉锚定的VideoQA，构建了NExT-GQA数据集，并通过事后注意力分析审查了各种最新的VLMs。我们发现这些模型在证明答案方面表现较弱，并建议通过高斯掩码优化和跨模态学习来实现视频锚定机制。实验结果表明，这种锚定机制既提高了视频锚定，也提高了QA。我们发布了数据集和代码，旨在推动在VQA系统中部署VLMs的可靠性。

15

Video Super-Resolution Transformer with Masked Inter&Intra-Frame Attention

Xingyu Zhou (University of Electronic Science and Technology of China) · Leheng Zhang (University of Electronic Science and Technology of China) · Xiaorui Zhao (None) · Keze Wang (SUN YAT-SEN UNIVERSITY) · Leida Li (Xidian University) · Shuhang Gu (University of Electronic Science and Technology of China)

最近，Vision Transformer在恢复低分辨率序列中缺失的细节方面取得了巨大成功，即视频超分辨率（VSR）任务。尽管在VSR准确性方面具有优势，但Transformer基础的VSR模型的巨大计算负担以及巨大的内存占用使其难以部署在受限设备上。在本文中，我们通过提出一种新颖的特征级掩码处理框架来解决上述问题：使用掩码的内部和跨帧注意力的VSR（MIA-VSR）。MIA-VSR的核心是利用相邻帧之间的特征级时序连续性来减少冗余计算，并更有理性地利用先前增强的SR特征。具体来说，我们提出了一个内部帧和跨帧注意力块，该块考虑到了过去特征和输入特征的各自角色，并仅利用先前增强的特征来提供补充信息。此外，我们开发了一个自适应块级掩码预测模块，根据相邻帧之间的特征相似性跳过不重要的计算。我们进行了详细的消融研究来验证我们的贡献，并将所提出的方法与最新的VSR方法进行了比较。实验结果表明，MIA-VSR在保持PSNR准确性的同时提高了内存和计算效率，超过了最新的方法。代码可在https://github.com/LabShuHangGU/MIA-VSR获取。

总的来说，我们提出了一种新颖的特征级掩码处理框架MIA-VSR，利用相邻帧之间的特征级时序连续性来减少冗余计算，并更有理性地利用先前增强的SR特征。我们还开发了一个自适应块级掩码预测模块，根据相邻帧之间的特征相似性跳过不重要的计算。实验结果表明，MIA-VSR在保持PSNR准确性的同时提高了内存和计算效率，超过了最新的方法。我们的代码可在https://github.com/LabShuHangGU/MIA-VSR获取。

16

Point-VOS: Pointing Up Video Object Segmentation

Sabarinath Mahadevan (RWTH Aachen University) · Idil Esen Zulfikar (RWTH Aachen University) · Paul Voigtlaender (None) · Bastian Leibe (RWTH Aachen University)

当前最先进的视频物体分割（VOS）方法在训练和测试过程中都依赖于稠密的每个物体掩码注释。这需要消耗时间和成本的视频注释机制。我们提出了一种新颖的Point-VOS任务，采用了一种空间-时间上稀疏的点式注释方案，大大减少了注释工作量。我们将我们的注释方案应用于两个大规模的视频数据集，并在32,000个视频中的133,000个物体上注释了超过1900万个点。基于我们的注释，我们提出了一个新的Point-VOS基准测试，以及一个对应的基于点的训练机制，我们使用它来建立强有力的基线结果。我们表明，现有的VOS方法可以轻松地适应我们的点注释进行训练，并且在使用这些点生成的伪掩码进行训练时可以取得接近完全监督性能的结果。此外，我们表明，我们的数据可以用于改善连接视觉和语言的模型，通过在视频叙述定位（VNG）任务上进行评估来证明这一点。我们将在https://pointvos.github.io上公开我们的代码和注释。

总的来说，我们提出了一种新颖的Point-VOS任务，采用了一种空间-时间上稀疏的点式注释方案，大大减少了注释工作量。我们在两个大规模的视频数据集上应用了我们的注释方案，并建立了一个新的Point-VOS基准测试和一个对应的基于点的训练机制。我们表明，现有的VOS方法可以轻松地适应我们的点注释进行训练，并且我们的数据可以用于改善连接视觉和语言的模型。我们将在https://pointvos.github.io上公开我们的代码和注释。

17

DynVideo-E: Harnessing Dynamic NeRF for Large-Scale Motion- and View-Change Human-Centric Video Editing

Jia-Wei Liu (National University of Singapore) · Yan-Pei Cao (Tencent ARC Lab) · Jay Zhangjie Wu (National University of Singapore) · Weijia Mao (NUS) · Yuchao Gu (None) · Rui Zhao (None) · Jussi Keppo (National University of Singapore) · Ying Shan (Tencent) · Mike Zheng Shou (National University of Singapore)

尽管最近在扩散式视频编辑方面取得了进展，但现有的方法由于长程一致性与帧级编辑之间的矛盾，仅限于短视频。之前试图通过引入视频-2D表示来解决这一挑战，但在处理大规模运动和视角变化视频时，尤其是在人体为中心的场景中，会遇到重大困难。为了克服这一点，我们提出引入动态神经辐射场（NeRF）作为创新的视频表示，其中编辑可以在3D空间中执行，然后通过变形场传播到整个视频中。为了提供一致且可控的编辑，我们提出了基于图像的视频NeRF编辑管道，其中包括从2D个性化扩散先验和3D扩散先验的多视图多姿态得分蒸馏采样（SDS）、重建损失、基于文本的局部部件超分辨率以及风格转移等一系列创新设计。广泛的实验表明，我们的方法DynVideo-E在两个具有挑战性的数据集上明显优于最新技术，在人类偏好方面的优势达到了50％～95％。代码将在https://showlab.github.io/DynVideo-E/发布。

总的来说，我们提出了引入动态神经辐射场（NeRF）作为创新的视频表示，并提出了一系列创新设计的基于图像的视频NeRF编辑管道，以实现一致且可控的编辑。我们的方法DynVideo-E在两个具有挑战性的数据集上明显优于最新技术，在人类偏好方面的优势达到了50％～95％。代码将在https://showlab.github.io/DynVideo-E/发布。

18

General Object Foundation Model for Images and Videos at Scale

Junfeng Wu (Huazhong University of Science and Technology) · Yi Jiang (bytedance) · Qihao Liu (Johns Hopkins University) · Zehuan Yuan (Nanjing University) · Xiang Bai (Huazhong University of Science and Technology) · Song Bai (ByteDance)

本文提出了GLEE，一个用于定位和识别图像和视频中的物体的基于物体的基础模型。通过统一的框架，GLEE实现了检测、分割、跟踪、定位和识别开放世界场景中任意物体的各种物体感知任务。采用紧密结合的学习策略，GLEE从具有不同监督级别的各种数据源中获取知识，构建出通用的物体表示，在新数据和任务的零样本转移方面表现出色。具体来说，我们采用图像编码器、文本编码器和视觉提示器来处理多模态输入，使其能够同时解决各种以物体为中心的下游任务，而且保持最新技术的性能。通过对来自各种基准测试的500万多张图像的大规模训练，GLEE表现出了惊人的灵活性和改善的泛化性能，能够高效地处理下游任务，而无需进行特定任务的适配。通过集成大量自动标注的数据，我们进一步增强了其零样本泛化能力。此外，GLEE能够集成到大型语言模型中，作为一个基础模型来为多模态任务提供通用的物体级信息。我们希望我们方法的通用性和普适性能够标志着高效视觉基础模型的开发取得了重大进展，为AGI系统的发展做出重要贡献。模型和代码将在https://glee-vision.github.io上发布。

总的来说，本文提出了一个用于定位和识别图像和视频中的物体的基于物体的基础模型GLEE。通过统一的框架和紧密结合的学习策略，GLEE从具有不同监督级别的各种数据源中获取知识，构建出通用的物体表示，在新数据和任务的零样本转移方面表现出色。GLEE能够高效地处理下游任务，并能够集成到大型语言模型中，为多模态任务提供通用的物体级信息。模型和代码将在https://glee-vision.github.io上发布。

19

SportsSloMo: A New Benchmark and Baselines for Human-centric Video Frame Interpolation

Jiaben Chen (University of California, San Diego) · Huaizu Jiang (Northeastern University)

人体为中心的视频帧插值在改善人们的娱乐体验和商业应用方面具有巨大的潜力，例如合成慢动作视频。虽然社区中有多个基准数据集可用，但没有一个专门用于人体为中心的场景。为了填补这一空白，我们引入了SportsSloMo，一个包含超过13万个高分辨率（≥720p）慢动作运动视频剪辑和100万个视频帧的基准数据集，这些视频剪辑是从YouTube上爬取的。我们在该基准数据集上重新训练了几种最新技术，结果表明，与其他数据集相比，它们的准确性下降了。这表明了我们基准数据集的困难度，并表明即使对于表现最好的方法也存在重大挑战，因为人体高度可变形，而运动视频中的遮挡频繁。为了提高准确性，我们引入了两个考虑到人体感知先验的损失项，分别在全景分割和人体关键点检测中添加了辅助监督。这些损失项是模型无关的，可以轻松地插入到任何视频帧插值方法中。实验结果证明了我们所提出的损失项的有效性，在5个现有模型上取得了一致的性能提升，为我们的基准数据集建立了强有力的基线模型。数据集和代码可以在https://neu-vi.github.io/SportsSlomo/找到。

总的来说，我们引入了SportsSloMo，一个包含超过13万个高分辨率慢动作运动视频剪辑和100万个视频帧的基准数据集，并引入了两个考虑到人体感知先验的损失项，以提高视频帧插值的准确性。实验结果证明了我们所提出的损失项的有效性，在5个现有模型上取得了一致的性能提升，为我们的基准数据集建立了强有力的基线模型。数据集和代码可以在https://neu-vi.github.io/SportsSlomo/找到。

20

A Recipe for Scaling up Text-to-Video Generation with Text-free Videos

Xiang Wang (Huazhong University of Science and Technology) · Shiwei Zhang (Alibaba Group) · Hangjie Yuan (Nanyang Technological University) · Zhiwu Qing (Huazhong University of Science and Technology, Tsinghua University) · Biao Gong (Alibaba Group) · Yingya Zhang (Alibaba Group) · Yujun Shen (The Chinese University of Hong Kong) · Changxin Gao (Huazhong University of Science and Technology) · Nong Sang (Huazhong University of Science and Technology)

基于扩散的文本到视频生成在过去一年中取得了令人印象深刻的进展，但仍然落后于文本到图像生成。其中一个关键原因是公开可用数据的规模有限（例如，WebVid10M中的1000万个视频-文本对比LAION中的50亿个图像-文本对），考虑到视频字幕的高成本。相比之下，从像YouTube这样的视频平台收集未标注的剪辑可能更容易。因此，我们提出了一种新颖的文本到视频生成框架，称为TF-T2V，它可以直接使用文本免费的视频进行学习。这种思路的原因是将文本解码的过程与时序建模的过程分离。为此，我们采用了一个内容分支和一个运动分支，它们共享权重并共同优化。根据这种管道，我们研究了通过使用一些随机收集的文本免费视频来扩大训练集规模（即视频仅限WebVid10M）的影响，并鼓舞人心地观察到性能的提高（FID从9.67提高到8.19，FVD从484提高到441），证明了我们方法的可扩展性。我们还发现，在重新引入一些文本标签进行训练后，我们的模型可以获得可持续的性能提高（FID从8.19提高到7.64，FVD从441提高到366）。最后，我们在本地文本到视频生成和复合视频合成范例上验证了我们思想的有效性和普适性。代码和模型将在https://tf-t2v.github.io/上公开可用。

总的来说，我们提出了一种新颖的文本到视频生成框架TF-T2V，它可以直接使用文本免费的视频进行学习，并通过使用一些随机收集的文本免费视频来扩大训练集规模，证明了我们方法的可扩展性。我们还发现，在重新引入一些文本标签进行训练后，我们的模型可以获得可持续的性能提高。我们在本地文本到视频生成和复合视频合成范例上验证了我们思想的有效性和普适性。代码和模型将在https://tf-t2v.github.io/上公开可用。

21

Action Scene Graphs for Long-Form Understanding of Egocentric Videos

Ivan Rodin (University of Catania) · Antonino Furnari (University of Catania) · Kyle Min (Intel Labs) · Subarna Tripathi (Intel Corporation) · Giovanni Maria Farinella (University of Catania, Italy)

22

Weakly Supervised Video Individual Counting

Xinyan Liu (None) · Guorong Li (University of Chinese Academy of Sciences) · Yuankai Qi (The University of Adelaide) · Ziheng Yan (University of Chinese Academy of Sciences) · Zhenjun Han (University of the Chinese Academy of Sciences) · Anton van den Hengel (University of Adelaide) · Ming-Hsuan Yang (University of California at Merced) · Qingming Huang (University of Chinese Academy of Sciences)

视频个体计数（VIC）的目标是预测单个视频中唯一个体的数量。现有的方法学习基于个体轨迹标签的表示，这些标签的注释成本很高。为了更真实地反映底层实际挑战，我们引入了一项弱监督的VIC任务，其中不提供轨迹标签。相反，提供两种类型的标签来指示流量进入视场（进流）和离开视场（出流）。我们还提出了一个基线解决方案，将任务形式化为组级匹配下的弱监督对比学习问题。为此，我们设计了一种端对端可训练的软对比损失函数，驱动网络区分进流、出流和剩余部分。为了促进未来在这方面的研究，我们从现有的VIC数据集SenseCrowd和CroHD中生成了注释，并构建了一个新数据集UAVVIC。广泛的结果表明，我们的基线弱监督方法优于有监督的方法，因此，在转向更具实际意义的弱监督任务过程中几乎没有损失信息。代码和训练好的模型将在https://github.com/streamer-AP/CGNet上公开。

总的来说，我们引入了一项弱监督的VIC任务，并提出了一个基线解决方案，将任务形式化为组级匹配下的弱监督对比学习问题。我们设计了一种端对端可训练的软对比损失函数，从现有的VIC数据集中生成了注释，并构建了一个新数据集UAVVIC。广泛的结果表明，我们的基线弱监督方法优于有监督的方法。代码和训练好的模型将在https://github.com/streamer-AP/CGNet上公开。

23

FlowVid: Taming Imperfect Optical Flows for Consistent Video-to-Video Generation

Feng Liang (The University of Texas at Austin) · Bichen Wu (Facebook) · Jialiang Wang (Facebook) · Licheng Yu (None) · Kunpeng Li (Meta) · Yinan Zhao (Facebook) · Ishan Misra (Facebook) · Jia-Bin Huang (University of Maryland, College Park) · Peizhao Zhang (Facebook) · Peter Vajda (Facebook) · Diana Marculescu (The University of Texas at Austin)

扩散模型已经改变了图像到图像（I2I）的合成，并且正在渗透到视频中。然而，视频到视频（V2V）的合成进展受到维持视频帧间时序一致性的挑战的阻碍。本文提出了一种一致的V2V合成框架，通过在源视频中联合利用空间条件和时序光流线索。与严格遵循光流的先前方法不同，我们的方法利用其优势，同时处理光流估计中的不完美。我们通过从第一帧进行扭曲来编码光流，并将其作为扩散模型中的补充参考。这使得我们的模型能够通过使用任何流行的I2I模型编辑第一帧，然后将编辑传播到后续帧来进行视频合成。我们的V2V模型FlowVid具有以下优势：（1）灵活性：FlowVid可以无缝地与现有的I2I模型一起工作，支持各种修改，包括风格化、对象交换和局部编辑。（2）效率：生成4秒长、30帧每秒、512x512分辨率的视频只需1.5分钟，比CoDeF快3.1倍，比Rerender快7.2倍，比TokenFlow快10.5倍。（3）高质量：在用户研究中，我们的FlowVid被首选的比例为45.7%，优于CoDeF（3.5%）、Rerender（10.2%）和TokenFlow（40.4%）。

总的来说，我们提出了一种一致的V2V合成框架，通过在源视频中联合利用空间条件和时序光流线索，并通过使用任何流行的I2I模型编辑第一帧，然后将编辑传播到后续帧来进行视频合成。我们的V2V模型FlowVid具有灵活性、效率和高质量等优势。在用户研究中，我们的FlowVid被首选的比例为45.7%，优于CoDeF、Rerender和TokenFlow。