AAAI2024的论文比较多，有代码的论文有80多篇。这一次我把所有的有代码的论文都搞下来了。详细的开了一个Git：https://github.com/scalaboy/AIpaper_with_code。下面摘几篇跟AGI相关的，其中有一篇是大语言模型中的讲思维链的。还有一篇是讲视频动作（motion）的。这个很重要，对于生成视频而言，有效的动作生产是视频合成真实有体感的关键。DGL: Dynamic Global-Local Prompt Tuning for Text-Video RetrievalXiangpeng Yang; Linchao Zhu; Xiaohan Wang; Yi Yang文本-视频检索是一个关键的多模态任务，用于找到与文本查询最相关的视频。虽然像CLIP这样的预训练模型在这方面表现出了令人印象深刻的潜力，但随着模型规模的增加，完全微调这些模型的成本不断上升，继续造成问题。为了解决这个挑战，提示微调已经出现了。然而，当将预训练的图像-文本模型适应下游视频-文本任务时，现有的工作仍然面临两个问题：（1）视觉编码器只能编码帧级特征，而无法提取全局级的通用视频信息。（2）将视觉和文本编码器配备独立的提示无法减轻视觉-文本模态间隙。为了解决这些问题，我们提出了DGL，一种具有全局-局部视频注意力的跨模态动态提示微调方法。与先前的提示微调方法不同，我们利用共享的潜在空间生成鼓励交叉模态交互的局部级文本和帧提示。此外，我们还提出在全局-局部注意力机制中对视频进行建模，以从提示微调的角度捕捉全局视频信息。实验结果表明，当仅微调0.67％的参数时，我们的跨模态提示微调策略DGL在MSR-VTT、VATEX、LSMDC和ActivityNet数据集上的表现优于或与完全微调方法相当。代码将在https://github.com/knightyxp/DGLEulerMormer: Robust Eulerian Motion Magnification via Dynamic Filtering withinFei Wang; Dan Guo; Kun Li; Meng WangVideo Motion Magnification (VMM) 旨在打破人类视觉感知能力的分辨率限制，并揭示宏观域中含有价值信息的难以察觉的微动。然而，在这个任务中存在挑战，因为摄影设备不可避免地引入了光子噪声，以及放大过程中的空间不一致性，导致视频中静态场域出现闪烁伪影，动态场域出现动态模糊和失真。现有的方法专注于显式运动建模，而没有强调在运动放大过程中优先去噪。本文提出了一种新颖的动态滤波策略，以实现静态-动态场域自适应去噪。具体来说，基于欧拉理论，我们分离纹理和形状以通过帧间形状差异提取运动表示，期望利用这些细分特征来细化地解决这个任务。然后，我们引入了一种新颖的动态滤波器，它在运动放大和放大生成阶段消除噪声线索并保留关键特征。总的来说，我们的统一框架 EulerMormer 是首次在基于学习的 VMM 中配备 Transformer 的奠基性尝试。动态滤波器的核心在于一种显式去除噪声同时保留关键信息的全局动态稀疏交叉协方差注意力机制，配合一种多尺度双路门控机制，选择性地调节对不同频率特征的依赖，以减少空间衰减并补充运动边界。我们展示了广泛的实验结果，证明 EulerMormer 从欧拉角度实现了更可靠的视频运动放大，显著超过了最先进的方法。源代码已在 https://github.com/VUT-HFUT/EulerMormer TF-CLIP: Learning Text-Free CLIP for Video-Based Person Re-identificationChenyang Yu; Xuehu Liu; Yingquan Wang; Pingping Zhang; Huchuan Lu大规模的语言-图像预训练模型（如CLIP）在许多跨模态检索任务上表现出色。然而，将这些模型学到的知识转移到视频基础的人员重识别（ReID）上还没有被广泛探索。此外，当前的ReID基准测试中缺乏可靠的文本描述。为了解决这些问题，本工作提出了一种新颖的一阶段文本免费的CLIP基础学习框架，命名为TF-CLIP，用于视频基础的人员ReID。具体来说，我们将身份特定的序列特征提取为CLIP-Memory，以代替文本特征。同时，我们设计了一个序列特定的提示（SSP）模块，用于在线更新CLIP-Memory。为了捕捉时序信息，我们进一步提出了一个时序记忆扩散（TMD）模块，它包括两个关键组件：时序记忆构建（TMC）和记忆扩散（MD）。从技术上讲，TMC允许序列中的帧级记忆相互沟通，并基于序列内的关系提取时序信息。MD进一步将时序记忆扩散到原始特征中的每个令牌中，以获得更健壮的序列特征。广泛的实验表明，我们提出的方法在MARS，LS-VID和iLIDS-VID上的表现要好得多于其他最先进的方法。代码已在https://github.com/AsuradaYuci/TF-CLIPT-SciQ: Teaching Multimodal Chain-of-Thought Reasoning via Large LanguageModel Signals for Science Question AnsweringLei Wang; Yi Hu; Jiabang He; Xing Xu; Ning Liu; Hui Liu; Heng Tao Shen近期，大规模语言模型（LLM）在各种自然语言处理（NLP）任务中表现出色。它们还显示出通过链状思考（CoT）推理来解决复杂问题的能力。最近的研究探索了在复杂的多模态场景（如科学问答任务）中进行CoT推理，通过使用高质量的人工注释CoT推理过程来微调多模态模型。然而，收集高质量的CoT推理过程通常需要花费很多时间和成本。此外，注释的推理过程往往不准确，因为缺少了外部的关键信息。为了解决这些问题，我们提出了一种新颖的方法，称为T-SciQ，旨在利用LLM信号来教授科学问答。T-SciQ方法生成高质量的CoT推理过程作为教学信号，并用于训练更小的模型在复杂的模态中执行CoT推理。此外，我们引入了一种新颖的数据混合策略，以产生更有效的教学数据样本，用于简单和复杂的科学问答问题。广泛的实验结果显示，我们的T-SciQ方法在ScienceQA基准测试上取得了新的最先进水平，准确率为96.18%。此外，我们的方法比最强大的微调基线表现更好，提高了4.5%。代码已在https://github.com/T-SciQ/T-SciQContext Enhanced Transformer for Single Image Object Detection in Video DataSeungjun An; Seonghoon Park; Gyeongnyeon Kim; Jeongyeol Baek;Byeongwon Lee; Seungryong Kim随着视频数据在真实世界应用中的日益重要性，有必要开发出能够利用时序信息的高效目标检测方法。虽然现有的视频目标检测（VOD）技术采用了各种策略来解决这一挑战，但它们通常依赖于局部相邻帧或剪辑内随机采样的图像。尽管最近基于Transformer的VOD方法取得了令人鼓舞的成果，但是它们对多个输入和额外的网络复杂性的依赖以及对时序信息的结合限制了它们的实际应用性。在本文中，我们提出了一种新颖的单图像目标检测方法，称为上下文增强转换器（CETR），通过使用新设计的内存模块将时序上下文纳入DETR中。为了高效存储时序信息，我们构建了一个类别wise内存，它在数据中收集跨数据的上下文信息。此外，我们提出了一种基于分类的采样技术，以有选择地利用当前图像的相关内存。在测试过程中，我们引入了一种测试时内存适配方法，通过考虑测试分布来更新单个内存函数。在CityCam和ImageNet VID数据集上的实验表明，该框架在各种视频系统上的效率。该项目的页面和代码将在https://ku-cvlab.github.io/CETRLearning Invariant Inter-pixel Correlations for Superpixel GenerationSen Xu; Shikui Wei; Tao Ruan; Lixin Liao深度超像素算法已经取得了惊人的进展，通过用可学习的特征代替手工特征。然而，我们观察到，现有的深度超像素方法作为中级表示操作，仍然敏感于训练数据集中嵌入的统计特性（如颜色分布、高级语义）。因此，可学习的特征表现出受限的判别能力，导致像素分组性能不佳，特别是在无法训练的应用场景中。为了解决这个问题，我们提出了内容去耦合超像素（CDS）算法，以选择性地分离不变的像素间相关性和统计特性，即风格噪声。具体来说，我们首先构造了与原始RGB图像同源的辅助模态，但具有实质性的风格变化。然后，驱动于互信息，我们提出了跨模态的局部网格相关性对齐，以减少自适应选择的特征的分布差异，并学习不变的像素间相关性。接下来，我们执行全局风格互信息最小化，以强制不变的内容和训练数据样式的分离。在四个基准数据集上的实验结果表明，我们的方法在边界遵循、泛化和效率方面都优于现有的最先进方法。代码和预训练模型可在https://github.com/rookiie/CDSpixelStructure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-Modal Structured RepresentationsYufeng Huang; Jiji Tang; Zhuo Chen; Rongsheng Zhang; Xinfeng Zhang; Weijie Chen; Zeng Zhao; Zhou Zhao; Tangjie Lv; Zhipeng Hu; Wen Zhang大规模的视觉-语言预训练在多模态理解和生成任务中取得了显著的性能提升。然而，现有的方法在需要结构化表示的图像-文本匹配任务上通常表现不佳，即对象、属性和关系的表示。如图~reffig:case (a)所示，模型无法区分"一个宇航员骑马"和"一匹马骑着一个宇航员"。这是因为它们在多模态场景下学习表示时未能充分利用结构化知识。在本文中，我们提出了一个端到端的框架Structure-CLIP，它集成场景图知识（SGK）来增强多模态结构化表示。首先，我们使用场景图来指导语义负样本的构造，从而增加对学习结构化表示的重视。此外，我们提出了一种知识增强编码器（KEE），将SGK作为输入来进一步增强结构化表示。为了验证所提出框架的有效性，我们使用上述方法预训练我们的模型，并在下游任务上进行实验。实验结果表明，Structure-CLIP在VG-Attribution和VG-Relation数据集上取得了最先进的性能，分别领先于多模态最先进模型12.5％和4.1％。同时，MSCOCO的结果表明，Structure-CLIP显著增强了结构化表示，而保留了普通表示的能力。我们的代码可在https://github.com/zjukg/Structure-CLIPLDMVFI: Video Frame Interpolation with Latent Diffusion ModelsDuolikun Danier; Fan Zhang; David Bull目前的视频帧插值（VFI）工作大多采用深度神经网络，通过最小化它们的输出和真实帧之间的L1、L2或深度特征空间距离（如VGG损失）进行训练。然而，最近的工作表明，这些指标是视觉VFI质量的糟糕指示器。为了开发面向感知的VFI方法，本工作提出了基于潜在扩散模型的VFI，即LDMVFI。这种方法从生成的角度来解决VFI问题，将其形式化为条件生成问题。作为首次尝试使用潜在扩散模型来解决VFI问题，我们在现有VFI文献中常用的测试集上对我们的方法进行了严格的基准测试。我们的定量实验和用户研究表明，LDMVFI能够在高分辨率领域甚至比最先进的方法更好地插值视频内容，且感知质量较好。我们的代码可在https://github.com/danier97/LDMVFI
原文作者：Agent的潜意识；如有侵权，请联系管理员删除。
