这次分享的工作比较action。很多是快速落地带来业务效果的。第一篇是很好的工作。他是做权重初始化的。用大模型训练好的权重来初始化小模型的权重，使得从预训练权重到较小模型的知识转移成为可能。这个很实用，你可以将130B的模型的参数迁移到3B里面，然后再接着训练。收敛快很多。第二篇用生成模型的编解码器来做图像高质量压缩的，这个是一个新idea。对于抖音 快手等视频公司具有很深的业务价值。可以降低视频的传输成本。第三篇是做图像编辑的。提出了一种新颖的图像编辑方法，名为DragonDiffusion，它能够在扩散模型上实现拖拽（Drag-style）操作的图像编辑。第四篇又是很好的工作。做多模态对齐的。他们发了一个110万的数据集，可以让模型显著感知到图像的细节信息。模型用文本描述图像细节能力的显著提高。Initializing Models with Larger OnesZhiqiu Xu,Yanjie Chen,Kirill Vishniakov,Yida Yin,Zhiqiang Shen,Trevor Darrell,Lingjie Liu,Zhuang Liu权重初始化在神经网络训练中扮演着重要的角色。广泛使用的初始化方法被提出并评估，这些方法适用于从头开始训练的网络。然而，现在越来越多的预训练模型为解决权重初始化这一经典问题提供了新的机会。在这项工作中，我们介绍了权重选择（weight selection），这是一种通过从预训练的大型模型中选择权重子集来初始化较小模型的方法。这使得从预训练权重到较小模型的知识转移成为可能。我们的实验表明，权重选择可以显著提高小型模型的性能并减少它们的训练时间。值得注意的是，它也可以与知识蒸馏一起使用。权重选择提供了一种新的方法，可以在资源受限的设置中利用预训练模型的力量，我们希望它能成为在大型模型时代训练小型模型的有用工具。代码可在以下链接获取：https://github.com/OscarXZQ/weight-selection。Idempotence and Perceptual Image CompressionTongda Xu,Ziran Zhu,Dailan He,Yanghao Li,Lina Guo,Yuanyuan Wang,Zhe Wang,Hongwei Qin,Yan Wang,Jingjing Liu,Ya-Qin Zhang幂等性（Idempotence）是指图像编解码器对重新压缩的稳定性。乍一看，它似乎与感知图像压缩（Perceptual Image Compression）无关。然而，研究发现理论上存在以下两点关系：
- 带有幂等性约束的非条件生成模型等价于条件生成编解码器。
基于这一新发现的等价性，我们提出了一种新的感知图像编解码范式，即通过反转带有幂等性约束的非条件生成模型。我们的编解码器在理论上等同于条件生成编解码器，并且它不需要训练新模型。相反，它只需要一个预训练的均方误差编解码器和非条件生成模型。从实证角度来看，我们展示了我们提出的方法在Fr'echet Inception Distance (FID)方面优于诸如HiFiC和ILLM等最先进的方法。https://github.com/tongdaxu/Idempotence-and-Perceptual-Image-Compression。DragonDiffusion: Enabling Drag-style Manipulation on Diffusion ModelsChong Mou,Xintao Wang,Jiechong Song,Ying Shan,Jian Zhang现有的大规模文本到图像（Text-to-Image，T2I）模型虽然能够根据详细的文本描述生成高质量的图像，但它们通常缺乏精确编辑生成或真实图像的能力。在这篇论文中，我们提出了一种新颖的图像编辑方法，名为DragonDiffusion，它能够在扩散模型上实现拖拽（Drag-style）操作的图像编辑。具体来说，我们构建了基于分类器引导的方法，该方法依赖于扩散模型中中间特征的强大对应关系。通过特征对应损失，它可以将编辑信号转换为梯度，以修改扩散模型的中间表示。基于这种引导策略，我们还构建了多尺度引导，以同时考虑语义和几何对齐。此外，还添加了一个跨分支自注意力机制，以保持原始图像和编辑结果之间的一致性。我们的方法通过高效的设计，实现了对生成或真实图像的多种编辑模式，如物体移动、物体尺寸调整、物体外观替换和内容拖拽。值得注意的是，所有的编辑和内容保留信号都来自图像本身，模型不需要微调或额外的模块。我们的源代码将在以下链接提供：https://github.com/MC-E/DragonDiffusion。Ferret: Refer and Ground Anything Anywhere at Any GranularityHaoxuan You,Haotian Zhang,Zhe Gan,Xianzhi Du,Bowen Zhang,Zirui Wang,Liangliang Cao,Shih-Fu Chang,Yinfei Yang本文提出名为Ferret的多模态大型语言模型（MLLM），这是一个能够理解图像中任何形状或粒度的空间引用，并准确定位开放词汇描述的新模型。Ferret采用了一种新颖而强大的混合区域表示方法，该方法整合了离散坐标和连续特征，共同表示图像中的一个区域。为了提取各种区域的连续特征，研究者提出了一种空间感知视觉采样器，它能够处理不同形状的稀疏性变化。因此，Ferret可以接受多种区域输入，如点、边界框和自由形状。为了增强Ferret的期望能力，研究者策划了一个全面的指导调优数据集GRIT，该数据集包含110万个样本，涵盖了丰富的层次空间知识，并有9.5万个困难负样本数据以提高模型的鲁棒性。所得到的模型不仅在传统的引用和定位任务上取得了优异的性能，而且在基于区域的和需要定位的多模态聊天中大大超越了现有的MLLM。评估还揭示了描述图像细节能力的显著提高和对象幻觉现象的显著减轻。代码和数据将在以下链接提供：https://github.com/apple/ml-ferret。An Image Is Worth 1000 Lies: Transferability of Adversarial Images across Prompts on Vision-Language ModelsHaochen Luo,Jindong Gu,Fengyuan Liu,Philip Torr与特定任务的视觉模型不同，最近的大规模视觉-语言模型（VLMs）能够通过简单地使用不同的文本指令，即提示（prompts），来适应不同的视觉任务。然而，传统特定任务视觉模型的一个众所周知的问题是，它们可能会被不可感知的对抗性扰动所误导。此外，由于相同对抗性扰动可以欺骗不同的特定任务模型，这一问题变得更加严重。鉴于VLMs依赖提示来适应不同的任务，一个有趣的问题出现了：当给出一千个不同的提示时，单一的对抗性图像是否能够误导VLMs的所有预测？这个问题本质上引入了对抗性转移性的一个新视角：跨提示的对抗性转移性。在这项工作中，我们提出了跨提示攻击（Cross-Prompt Attack，CroPA）。这种方法通过可学习的提示更新视觉对抗性扰动，这些提示旨在抵消对抗性图像的误导效果。通过这样做，CroPA显著提高了对抗性示例跨提示的转移性。我们进行了广泛的实验，验证了CroPA在各种不同任务中对流行VLMs（包括Flamingo、BLIP-2和InstructBLIP）的强大跨提示对抗性转移性。我们的源代码可在以下链接获取：https://github.com/Haochen-Luo/CroPA。
原文作者：Agent的潜意识；如有侵权，请联系管理员删除。
