这次分享的paper with code 都是AGI相关的。

第一篇解决的是图片生成动画的问题。如何提升无监督方法中，基于人体关键点驱动动画生成中，提升动作幅度大小和关键点语义一致性。其实这个很好，能提升动画中动作的效果就能提升视频中动作的效果。

第二篇是提出了一个框架EulerMormer，降低视频动作放大过程中的噪音的。其实就是让视频动作生成更加逼真有真实感。

第三篇是提升视频动作识别效果的。提出了一种创新的知识蒸馏框架，使用生成模型来训练轻量级的学生模型。

第四篇是很有用的。他是解决视频下一帧预测问题。他将视频中的动作语义信息和内容语义信息解构，然后呢，先利用神经随机差分方程预测下一帧应该是什么动作，然后将预测的动作和上一帧的内容作为输入，来预测下一帧。这样保证视频动作生成中的语义连贯性。

第五篇讲的是图像文本两个模态对齐的问题。图像模态比较真实，文本是人类标记的会有噪音，同时多模态训练中模态不同权重应该不同，他把权重变成可学习的参数来训练了。

1

Continuous Piecewise-Affine Based Motion Model for Image Animation

Hexiang Wang; Fengqi Liu; Qianyu Zhou; Ran Yi; Xin Tan; Lizhuang Ma

图像动画旨在根据驱动视频为静态图像注入生命，并创建可用于动画、娱乐和教育等多种目的的引人入胜的视觉内容。最近的无监督方法利用基于关键点的仿射和薄板样条变换来传递驱动帧中的动作到源图像。然而，由于所使用的变换表达能力的限制，当驱动帧中的动作与源图像之间的差距较大时，这些方法总是产生较差的结果。为了解决这个问题，我们提出在高表达性的微分同胚空间中对源图像到驱动帧的动作进行建模。首先，我们引入基于连续分段仿射（CPAB）变换来模拟动作，并提出了一个精心设计的推理算法，从控制关键点生成CPAB变换。其次，我们提出了一个SAM引导的关键点语义损失，以进一步约束关键点提取过程，并提高源图像和驱动图像上相应关键点之间的语义一致性。最后，我们设计了一个结构对齐损失，以对齐从驱动和生成图像中提取的结构相关特征，从而帮助生成器生成与驱动动作更一致的结果。在四个数据集上的广泛实验定量和定性地证明了我们的方法在与最先进的竞争对手相比时的有效性。代码将在

https://github.com/DevilPG/AAAI2024-CPABMM公开。

2

EulerMormer: Robust Eulerian Motion Magnification via Dynamic Filtering within Transformer

Fei Wang; Dan Guo; Kun Li; Meng Wang

视频运动放大（VMM）旨在打破人类视觉感知能力的分辨率限制，并揭示包含宏观域中有价值信息的难以察觉的微小运动。然而，这项任务存在一些挑战，主要是由于摄像设备不可避免地引入的光子噪声以及放大过程中的空间不一致性，导致视频中静态场域出现闪烁伪影，动态场域出现运动模糊和失真。现有的方法专注于显式运动建模，而没有强调在运动放大过程中进行优先级降噪。本文提出了一种新颖的动态滤波策略，以实现静态-动态场域自适应降噪。具体来说，基于欧拉理论，我们分离纹理和形状来提取运动表示，通过帧间形状差异来提取运动表示，期望利用这些细分的特征来精细解决这个任务。然后，我们引入了一种新颖的动态滤波器，它在运动放大和放大生成阶段消除噪声线索并保留关键特征。总的来说，我们的统一框架 EulerMormer 是首个在基于学习的 VMM 中配备 Transformer 的努力。动态滤波器的核心在于一个全局动态稀疏交叉协方差注意力机制，该机制显式地移除噪声同时保留重要信息，配合一个多尺度双路门控机制，选择性地调节对不同频率特征的依赖以减少空间衰减并补充运动边界。我们展示了广泛的实验结果，证明 EulerMormer 从欧拉角度实现了更健壮的视频运动放大，显著优于最新方法。源代码可在https://github.com/VUT-HFUT/EulerMormer获取。

3

Generative Model-Based Feature Knowledge Distillation for Action Recognition

Guiqin Wang; Peng Zhao; Yanjiang Shi; Cong Zhao; Shusen Yang

知识蒸馏（KD）是一种在计算机视觉中广泛应用的技术，已成为提高小型神经网络性能的事实标准。然而，目前在视频任务中基于 KD 的方法主要集中在设计损失函数和融合跨模态信息方面。这些方法忽略了空间-时间特征语义，导致模型压缩方面的进展有限。为了解决这个问题，我们的论文提出了一种创新的知识蒸馏框架，使用生成模型来训练轻量级的学生模型。具体来说，该框架分为两个步骤：首先是特征表示阶段，在这个阶段，训练一个基于生成模型的注意力模块来表示特征语义；其次是基于生成模型的特征蒸馏阶段，包括生成蒸馏和注意力蒸馏，目的是使用生成模型转移基于注意力的特征语义。我们通过在各种流行数据集上进行的综合实验证明了我们的方法的有效性，在视频动作识别任务中取得了可观的改进。此外，我们在更复杂的视频动作检测任务中验证了我们所提出框架的有效性。我们的代码可在

https://github.com/aaai-24/Generative-based-KD获取。

4

STDiff: Spatio-Temporal Diffusion for Continuous Stochastic Video Prediction

Xi Ye; Guillaume-Alexandre Bilodeau

预测视频的未来帧是一个挑战，因为很难学习影响其内容的底层因素的不确定性。在这篇论文中，我们提出了一种新颖的视频预测模型，它在空间-时间域上具有无限维的潜在变量。具体来说，我们首先将视频运动和内容信息进行分解，然后使用神经随机微分方程来预测时间运动信息，最后，基于预测的运动特征和前一帧，一个图像扩散模型自回归地生成视频帧，我们模型的更好的表达能力和更强的随机性学习能力使其在视频预测方面取得了最新成果。此外，我们的模型能够实现时间上的连续预测，即以无监督的方式以任意高的帧率预测未来的视频帧。我们的代码可在 \url{https://github.com/XiYe20/STDiffProject}获取。

5

Dynamic Weighted Combiner for Mixed-Modal Image Retrieval

Fuxiang Huang; Lei Zhang; Xiaowei Fu; Suqi Song

混合模态图像检索（MMIR）作为一种灵活的搜索范式已经吸引了广泛的关注。然而，以前的方法总是取得有限的性能，因为忽略了两个关键因素。1）图像和文本模态的贡献不同，但错误地被视为相等。2）在描述来自各种真实世界场景的网络数据集中用户意图时存在固有的标注噪声，导致过拟合。我们提出了动态加权组合器（DWC）来解决上述挑战，它包括三个优势。首先，我们提出了可编辑的模态去等化器（EMD），考虑到模态之间的贡献不平等，包含两个模态特征编辑器和一个自适应加权组合器。其次，为了缓解标注噪声和数据偏差，我们提出了一个动态软相似度标签生成器（SSG）来隐式改善噪声监督。最后，为了桥接模态间隙并促进相似性学习，我们提出了一个基于 CLIP 的相互增强模块，交替使用混合模态对比损失进行训练。广泛的实验证明，我们提出的模型在真实世界数据集上明显优于最新方法。源代码可在

https://github.com/fuxianghuang1/DWC}获取。