特此申明：CVPR共400来篇有代码的论文。所选出来的论文比较少，同时选出来的只是我自己感兴趣的工作，并不代表论文真实水平。我觉得所有accept的工作都是很好的。第一篇北大和阿里的工作。是讲用对比学习减轻多模态的幻觉的，因为多模态里面，文本和视觉表示存在差异，同时包含和不包含幻觉的文本表示纠缠在一起，使得它们难以区分。将对比学习引入MLLMs，并使用包含幻觉的文本作为硬负例，自然地将非幻觉文本和视觉样本的表示拉近，同时推开非幻觉和幻觉文本的表示。第三篇是腾讯和华东师范的。提出了一种新颖的令牌增长方案——Token Expansion（简称ToE），以实现ViTs的一致训练加速。第四篇是用大语言做提示学习来做低样本分类的。比较讨巧的工作。第五篇用SD来做虚拟试穿衣服的。个人觉得落地可能性较低。也是一个好尝试吧。提出了StableVITON，它以端到端的方式学习预训练扩散模型潜在空间内服装和人体之间的语义对应关系。我们提出的零交叉注意力块不仅通过学习语义对应关系保留服装细节，还通过在变形过程中利用预训练模型的固有知识生成高保真图像。第六篇是做文本和视觉语义对齐的。这项工作探讨了单模态视觉和语言编码器之间的潜在联系，并提出了一种新的方法来分析和利用这种联系，即使在没有显式对齐训练的情况下。通过CKA度量和图匹配技术，研究者们能够揭示不同编码器之间在语义上的相似性，并利用这种相似性来改进跨模态任务的性能。Hallucination Augmented Contrastive Learning for Multimodal Large Language ModelChaoya Jiang (Peking University) Haiyang Xu (Alibaba Group) Mengfan Dong (Peking University) Jiaxing Chen (Peking University) Wei Ye (Peking University) Ming Yan (Alibaba Group) Qinghao Ye (Alibaba Group) Ji Zhang (Alibaba Group) Fei Huang (Alibaba Group) Shikun Zhang (Peking University)多模态大型语言模型（MLLMs）已被证明能够有效地将自然语言与视觉信息整合在一起，以处理多模态任务。然而，MLLMs仍然面临着产生幻觉（hallucinations）的根本限制，即它们倾向于生成错误或虚构的信息。在本文中，我们从表示学习的新视角出发，解决了MLLMs中的幻觉问题。我们首先分析了MLLM中文本和视觉标记的表示分布，揭示了两个重要发现：1）文本和视觉表示之间存在显著差距，表明跨模态表示对齐不满意；2）包含和不包含幻觉的文本表示纠缠在一起，使得它们难以区分。这两个观察结果启发了我们采用一种简单但有效的方法来减轻幻觉。具体来说，我们将对比学习引入MLLMs，并使用包含幻觉的文本作为硬负例，自然地将非幻觉文本和视觉样本的表示拉近，同时推开非幻觉和幻觉文本的表示。我们定量和定性地评估了我们的方法，展示了其在减少幻觉发生次数和提高多个基准测试性能方面的有效性。在MMhal-Bench基准测试中，我们的方法在基线MiniGPT-4/LLaVA上取得了34.66%/29.5%的改进。我们的代码可在https://github.com/X-PLUG/mPLUG-HalOwl/tree/main/hacl上获得。VA3: Virtually Assured Amplification Attack on Probabilistic Copyright Protection for Text-to-Image Generative ModelsXiang Li (National University of Singapore) Qianli Shen (National University of Singapore) Kenji Kawaguchi (National University of Singapore)文本到图像生成模型的兴起引发了人们对于其可能产生侵犯版权内容的高度关注。虽然概率性版权保护方法提供了一种对抗此类侵权的概率性保障，但在本文中，我们介绍了一种名为Virtually Assured Amplification Attack（VA3）的新型在线攻击框架，该框架暴露了这些保护机制的漏洞。所提出的框架显著增加了在与生成模型持续互动中生成侵权内容的概率，并且在每次互动中成功概率的非平凡下界。我们的理论和实验结果证明了我们的方法在不同场景下的有效性。这些发现突显了在实际应用文本到图像生成模型时实施概率性版权保护的潜在风险。代码可在https://github.com/South7X/VA3获取。A General and Efficient Training for Transformer via Token ExpansionWenxuan Huang (East China Normal University) Yunhang Shen (Tencent) Jiao Xie (Xiamen University) Baochang Zhang (Beihang University) Gaoqi He (East China Normal University) Ke Li (Tencent) Xing Sun (Tencent YouTu Lab) Shaohui Lin (East China Normal University)视觉变换器（ViTs）的卓越性能通常需要极高的训练成本。现有的方法已经尝试加速ViTs的训练，但通常忽略了方法的普遍性，并且在提高速度的同时牺牲了准确性。同时，它们破坏了原始变换器的训练一致性，包括超参数、架构和策略的一致性，这阻碍了它们被广泛地应用于不同的变换器网络。在本文中，我们提出了一种新颖的令牌增长方案——Token Expansion（简称ToE），以实现ViTs的一致训练加速。我们引入了一个“初始化-扩展-合并”的流程，以保持原始变换器中间特征分布的完整性，防止在训练过程中丢失关键的可学习信息。ToE不仅可以无缝集成到变换器的训练和微调过程中（例如，DeiT和LV-ViT），而且对于高效的训练框架（例如，EfficientTrain）也是有效的，而不会扭曲原始的训练超参数、架构，并引入额外的训练策略。广泛的实验表明，ToE在无损方式下实现了ViTs训练的1.3倍加速，甚至在某些情况下性能超过了全令牌训练基线。代码可在https://github.com/Osilly/TokenExpansion获取。Token Expansion（ToE）方法的提出，为加速视觉变换器的训练提供了一种新的思。通过“初始化-扩展-合并”的流程，ToE能够在不牺牲准确性的前提下，显著提高训练效率。这种方法的创新之处在于它保持了原始变换器的中间特征分布的完整性，并且可以无缝地集成到现有的训练框架中，而不需要改变原始的训练超参数或引入额外的训练策略。Large Language Models are Good Prompt Learners for Low-Shot Image Classification Zhaoheng Zheng (University of Southern California) Jingmin Wei (University of Southern California) Xuefeng Hu (University of Southern California) Haidong Zhu (University of Southern California) Ram Nevatia (None)低样本图像分类是一个具有挑战性的任务，其中的挑战在于训练图像数量有限或无法访问。最近，具有强大泛化能力的预训练视觉-语言（VL）模型（例如CLIP）在这一领域取得了进展。基于VL模型的提示学习方法从仅有有限类别特定信息的类别名称中生成文本特征。而大型语言模型（LLMs）凭借其庞大的百科全书式知识，成为了一个很好的补充。因此，在本文中，我们讨论了将LLMs整合到预训练的VL模型中的方法，特别是在低样本分类上的应用。然而，语言和视觉领域之间的差异阻碍了LLMs的直接应用。因此，我们提出了LLaMP（Large Language Models as Prompt learners），它为CLIP文本编码器生成自适应提示，建立了一座连接的桥梁。实验表明，与其他最先进的提示学习方法相比，LLaMP在零样本泛化和少样本图像分类方面都取得了更好的性能，涵盖了11个不同的数据集。代码将在https://github.com/zhaohengz/LLaMP上提供。StableVITON: Learning Semantic Correspondence with Latent Diffusion Model for Virtual Try-OnJeongho Kim (KAIST) Gyojung Gu (Korea Advanced Institute of Science and Technology) Minho Park (KAIST) Sunghyun Park (KAIST) Jaegul Choo (Korea Advanced Institute of Science and Technology)在图像基础的虚拟试穿任务中，给定一张服装图像和一张人物图像，目标是生成一张定制化的图像，这张图像看起来自然，并且准确反映了服装图像的特征。在这项工作中，我们旨在扩展预训练扩散模型的应用范围，使其能够独立用于虚拟试穿任务。主要挑战在于在有效利用预训练模型的强大生成能力的同时，保留服装的细节。为了解决这些问题，我们提出了StableVITON，它以端到端的方式学习预训练扩散模型潜在空间内服装和人体之间的语义对应关系。我们提出的零交叉注意力块不仅通过学习语义对应关系保留服装细节，还通过在变形过程中利用预训练模型的固有知识生成高保真图像。通过我们提出的一种新颖的注意力总变分损失和应用增强，我们实现了清晰的注意力图，从而更精确地表示服装细节。StableVITON在定性和定量评估中都优于基线，在任意人物图像中展现了有希望的质量。我们的代码可在https://github.com/rlawjdghek/StableVITON上获得。Do Vision and Language Encoders Represent the World Similarly?Mayug Maniparambil (ML Labs, Dublin City University) Raiymbek Akshulakov (University of California, Berkeley) YASSER ABDELAZIZ DAHOU DJILALI (Technology Innovation Institute) Mohamed El Amine Seddik (Technology Innovation Institute) Sanath Narayan (Technology Innovation Institute) Karttikeya Mangalam (University of California Berkeley) Noel O'Connor (Dublin City University)像CLIP这样的对齐文本-图像编码器已经成为视觉-语言任务的事实上的模型。此外，特定于模态的编码器在各自领域取得了令人印象深刻的性能。这引发了一个核心问题：由于它们根本上表示相同的物理世界，单模态视觉和语言编码器之间是否存在对齐？通过使用中心核对齐（CKA）分析图像-标题基准测试上的视图和语言模型的潜在空间结构，我们发现未对齐和对齐编码器的表示空间在语义上是相似的。在缺乏像CLIP这样的对齐编码器的统计相似性的情况下，我们展示了在没有任何训练的情况下存在未对齐编码器的可能匹配。我们将这个问题框架为种子图匹配问题，利用图之间的语义相似性，并提出了两种方法——一个快速二次分配问题优化，以及一种基于CKA度量的新的局部化匹配/检索方法。我们在多个下游任务上证明了这种方法的有效性，包括跨语言、跨领域标题匹配和图像分类。代码可在github.com/mayug/0-shot-llm-vision上获得。这项工作探讨了单模态视觉和语言编码器之间的潜在联系，并提出了一种新的方法来分析和利用这种联系，即使在没有显式对齐训练的情况下。通过CKA度量和图匹配技术，研究者们能够揭示不同编码器之间在语义上的相似性，并利用这种相似性来改进跨模态任务的性能。
原文作者：Agent的潜意识；如有侵权，请联系管理员删除。
