第一篇工作 是做文本图像语义局部对齐优化的。这个也很重要。该项目提出了一个CLIPSelf的方法，该方法能够在不需要任何区域-文本对的情况下，将CLIP ViT的图像级识别能力适应到局部图像区域。第二篇工作也是聚焦在 CLIP领域的。引入了元数据策划的语言-图像预训练（MetaCLIP）。MetaCLIP接受一个原始数据池和元数据（从CLIP的概念中派生），并产生一个在元数据分布上平衡的子集。第三篇工作是做表格LLM的。他们创建了CABINET，采用了一个弱监督模块，该模块生成一个解析语句，描述与问题相关的行和列的标准，并突出显示相应表格单元格的内容。第四篇工作大语言模型攻击的。这个属于信息安全范畴。他们提出了生成利用攻击，这是一种极其简单的方法，仅通过操纵解码方法的变化来破坏模型对齐。通过利用不同的生成策略，包括变化解码超参数和采样方法，我们将包括LLaMA2、Vicuna、Falcon和MPT家族在内的11个语言模型的不一致率从0%提高到超过95%，以30倍的计算成本超越了最先进的攻击。第五篇工作需要重点关注，他们构建了一个类似人类的选择性注意力机制的过滤器。受人类选择性注意的启发——人们基于自己的经验、知识和手头任务过滤感知的过程——我们引入了一种参数高效的过滤具身智能视觉刺激的方法。我们的方法使用一个小型可学习代码本模块引入了一个任务条件的瓶颈。这个代码本与任务奖励一起联合训练，并充当视觉观察的任务条件选择性过滤器。1、CLIPSelf: Vision Transformer Distills Itself for Open-Vocabulary Dense PredictionSize Wu,Wenwei Zhang,Lumin Xu,Sheng Jin,Xiangtai Li,Wentao Liu,Chen Change Loy
开放词汇的密集预测任务，包括目标检测和图像分割，已经通过对比语言-图像预训练（CLIP）的成功得到了推进。特别是那些结合了视觉变换器（ViTs）的CLIP模型，在零样本图像分类中表现出了显著的泛化能力。然而，当将CLIP从全局图像表示的视觉-语言对齐转移到开放词汇密集预测任务的局部区域表示时，CLIP ViTs遭受到了从完整图像到局部图像区域的领域转移问题。在这篇论文中，我们对CLIP模型中的区域-语言对齐进行了深入分析，这对于下游的开放词汇密集预测任务至关重要。随后，我们提出了一种名为CLIPSelf的方法，该方法能够在不需要任何区域-文本对的情况下，将CLIP ViT的图像级识别能力适应到局部图像区域。CLIPSelf通过将其密集特征图中提取的区域表示与相应图像裁剪的图像级表示进行对齐，赋予ViTs自我蒸馏的能力。通过增强的CLIP
ViTs，我们在各种基准测试中实现了开放词汇目标检测、语义分割和全景分割的新的最佳性能。模型和代码已在https://github.com/wusize/CLIPSelf发布。Hu Xu,Saining Xie,Xiaoqing Tan,Po-Yao Huang,Russell Howes,Vasu Sharma,Shang-Wen Li,Gargi Ghosh,Luke Zettlemoyer,Christoph Feichtenhofer对比语言-图像预训练（CLIP）是一种推进了计算机视觉研究和应用的方法，为现代识别系统和生成模型提供了动力。我们认为CLIP成功的主要因素是其数据，而不是模型架构或预训练目标。然而，CLIP只提供了关于其数据及其收集方式的非常有限的信息，这导致一些工作试图通过使用其模型参数进行过滤来复制CLIP的数据。在这项工作中，我们旨在揭示CLIP的数据策划方法，并且在使其对社区开放的过程中，我们引入了元数据策划的语言-图像预训练（MetaCLIP）。MetaCLIP接受一个原始数据池和元数据（从CLIP的概念中派生），并产生一个在元数据分布上平衡的子集。我们的实验研究严格隔离了模型和训练设置，仅专注于数据。在CommonCrawl上应用MetaCLIP，使用4亿图像-文本数据对，其在多个标准基准测试中超过了CLIP的数据。在零样本ImageNet分类中，MetaCLIP达到了70.8%的准确率，超过了CLIP在ViT-B模型上的68.3%。在保持相同训练预算的情况下扩展到10亿数据，准确率提高到了72.4%。我们观察到的结果在各种模型大小中都成立，例如ViT-H在没有任何额外技巧的情况下达到了80.5%。数据策划代码和元数据上的训练数据分布在https://github.com/facebookresearch/MetaCLIP上提供。CABINET: Content Relevance-based Noise Reduction for Table Question AnsweringSohan Patnaik,Heril Changwal,Milan Aggarwal,Sumit Bhatia,Yaman Kumar,Balaji Krishnamurthy大型语言模型（LLMs）的表格理解能力已通过表格问答（QA）任务得到了广泛研究。通常，整个表格中只有一小部分与推导给定问题的答案有关。不相关的部分作为噪声存在，并且是分散注意力的信息，由于LLMs对噪声的敏感性，导致性能次优。为了缓解这个问题，我们提出了CABINET（基于内容相关性的噪声减少表格问答框架），这是一个框架，通过抑制额外的信息，使LLMs能够专注于相关的表格数据。CABINET包括一个无监督相关性评分器（URS），它与问答LLM（QA LLM）差异化训练，根据其与输入问题的相关性对表格内容进行加权，然后将其提供给问答LLM。为了进一步帮助相关性评分器，CABINET采用了一个弱监督模块，该模块生成一个解析语句，描述与问题相关的行和列的标准，并突出显示相应表格单元格的内容。CABINET显著优于各种表格LLM基线，以及基于GPT3的上下文学习方法，对噪声更加鲁棒，在不同大小的表格上保持优异性能，并在WikiTQ、FeTaQA和WikiSQL数据集上建立了新的SoTA性能。我们在https://github.com/Sohanpatnaik106/CABINET_QA上发布了我们的代码和数据集。Catastrophic Jailbreak of Open-source LLMs via Exploiting GenerationYangsibo Huang,Samyak Gupta,Mengzhou Xia,Kai Li,Danqi Chen开源大型语言模型（LLMs）的快速发展正在显著推动人工智能的进步。在模型发布之前，人们已经做出了大量努力来使其行为与人类价值观保持一致，主要目标是确保它们的有益性和无害性。然而，即使是经过仔细对齐的模型也可能被恶意操纵，导致意外的行为，这种行为被称为“越狱”（jailbreaks）。这些越狱通常是通过特定的文本输入触发的，通常被称为对抗性提示（adversarial prompts）。在这项工作中，我们提出了生成利用攻击，这是一种极其简单的方法，仅通过操纵解码方法的变化来破坏模型对齐。通过利用不同的生成策略，包括变化解码超参数和采样方法，我们将包括LLaMA2、Vicuna、Falcon和MPT家族在内的11个语言模型的不一致率从0%提高到超过95%，以30倍的计算成本超越了最先进的攻击。最后，我们提出了一种有效的对齐方法，该方法探索了多样化的生成策略，可以在我们攻击下合理降低不一致率。总的来说，我们的研究强调了当前开源LLMs的安全评估和对齐程序的一个重大失败，强烈主张在发布此类模型之前进行更全面的红队测试和更好的对齐。我们的代码可以在https://github.com/Princeton-SysML/Jailbreak_LLM上找到。Selective Visual Representations Improve Convergence and Generalization for Embodied AIAinaz Eftekhar,Kuo-Hao Zeng,Jiafei Duan,Ali Farhadi,Aniruddha Kembhavi,Ranjay Krishna具身智能模型经常使用现成的视觉骨干网络，如CLIP，来编码它们的视觉观察。尽管这种通用目的的表示包含了关于场景的丰富句法和语义信息，但这些信息中的很多往往与手头的特定任务无关。这在学习过程中引入了噪声，并使代理的注意力从任务相关的视觉线索上分散开来。受人类选择性注意的启发——人们基于自己的经验、知识和手头任务过滤感知的过程——我们引入了一种参数高效的过滤具身智能视觉刺激的方法。我们的方法使用一个小型可学习代码本模块引入了一个任务条件的瓶颈。这个代码本与任务奖励一起联合训练，并充当视觉观察的任务条件选择性过滤器。我们的实验展示了在5个基准测试中，包括ProcTHOR、ArchitecTHOR、RoboTHOR、AI2-iTHOR和ManipulaTHOR的对象目标导航和对象位移的最新性能。代码本生成的过滤表示也能够在适应其他模拟环境，如Habitat时更好地泛化并更快收敛。我们的定性分析表明，代理更有效地探索它们的环境，它们的表示保留了任务相关信息，如目标对象识别，同时忽略了关于其他对象的多余信息。代码和预训练模型可在我们项目网站https://embodied-codebook.github.io上获取。
原文作者：Agent的潜意识；如有侵权，请联系管理员删除。
