承接上文，CVPR2024 ALL paper with code集锦1
这批分享的有代码的CVPR2024的论文共7篇。
第一篇是清华的，不过一作看起来是独立工作者。讲的是motion这一核心问题。这个是困扰视频领域的根本问题。他们构建了一个手-物体交互运动序列数据集。可以提升合成视频的motion一致性。
第二篇是百度的，他们构建了一个CNN 和transformer双向融合交互的新网络架构ViT-CoMer。
第三篇是医学影像分割的，第四篇是 医学影像磁共振的，设计了一个3D卷积提升效果。第五篇也是医学影像的，提出了一个diffpose的算法，利用自监督学习解决医学影像数据标注不足的问题。这一块我懂的少，请自取。
第六篇是讲神经网络架构搜索（NAS）的。我以为这个是个很冷门的细分支了。都快忘记了。居然还有人在琢磨这个。他做的工作是将架构搜索设计的每个动作和整个神经网络的性能对齐的事情。
第七篇是韩国人的paper，大语言模型和图像编辑领域的。他们发了两个新数据集，解决的是图像语义和文本关联的问题。让大语言模型（LLM）根据图片生成的评论更加有趣味性。
1、
TACO: Benchmarking Generalizable Bimanual Tool-ACtion-Object Understanding
Yun Liu (None) · Haolin Yang (Beijing University of Posts and Telecommunications) · Xu Si (Tsinghua University) · Ling Liu (Beijing Institute of Technology) · Zipeng Li (Tsinghua University, Tsinghua University) · Yuxiang Zhang (Tsinghua University, Tsinghua University) · Yebin Liu (Tsinghua University) · Li Yi ()
人类在日常生活中通常与多个物体一起工作，并且能够通过理解物体的功能规律，直观地将操作技能转移到新物体上。然而，现有的分析和合成手-物体操作的技术方法大多仅限于处理单个手和物体，这是由于缺乏数据支持。为了解决这个问题，我们构建了TACO（Tool-ACtion-Object Understanding），这是一个广泛的双手手-物体交互数据集，涵盖了日常人类活动中各种工具-动作-物体组合。
TACO包含2.5K个运动序列，配备了第三人称和第一人称视角、精确的手-物体3D网格以及动作标签。为了快速扩大数据规模，我们提出了一个完全自动化的数据采集流程，结合了多视角感知与光学运动捕捉系统。利用TACO提供的广阔研究领域，我们对三个可推广的手-物体交互任务进行了基准测试：组合动作识别、可推广的手-物体运动预测和协作抓取合成。广泛的实验揭示了推进可推广的手-物体运动分析和合成研究的新见解、挑战和机遇。
2、
ViT-CoMer: Vision Transformer with Convolutional Multi-scale Feature Interaction for Dense Predictions
Chunlong Xia (Baidu) · Xinliang Wang (Baidu) · Feng Lv (Baidu) · Xin Hao (Beijing Institute of Technology) · Yifeng Shi (Baidu)
尽管视觉变换器（Vision Transformer，简称ViT）在计算机视觉领域取得了显著的成功，但由于缺乏内部补丁信息交互和有限的特征尺度多样性，它在密集预测任务中的表现并不理想。大多数现有的研究致力于设计特定于视觉的变换器来解决上述问题，这引入了额外的预训练成本。因此，我们提出了一个简单的、无需预训练的、具有卷积多尺度特征交互的特征增强ViT骨干网络，名为ViT-CoMer，它促进了CNN和变换器之间的双向交互。
与最先进的技术相比，ViT-CoMer具有以下优势：
1）我们将空间金字塔多感受野卷积特征注入到ViT架构中，有效地缓解了ViT中有限的局部信息交互和单一特征表示的问题。
2）我们提出了一个简单高效的CNN-变换器双向融合交互模块，该模块在层次化特征上执行多尺度融合，有利于处理密集预测任务。
3）我们在各种密集预测任务、不同框架和多个先进的预训练中评估了ViT-CoMer的性能。值得注意的是，我们的ViT-CoMer-L在没有额外训练数据的情况下，在COCO val2017上达到了64.3%的AP，在ADE20K val上达到了62.1%的mIoU，两者都与最先进的方法相当。
我们希望ViT-CoMer能够作为密集预测任务的新骨干网络，促进未来的研究。代码将在以下链接发布：https://github.com/Traffic-X/ViT-CoMer。
3、
Diversified and Personalized Multi-rater Medical Image Segmentation
Yicheng Wu (Monash University) · Xiangde Luo (University of Electronic Science and Technology of China) · Zhe Xu (The Chinese University of Hong Kong; Harvard Medical School) · Xiaoqing Guo (University of Oxford, University of Oxford) · Lie Ju (Monash University) · Zongyuan Ge (Monash University) · Wenjun Liao (University of Electronic Science and Technology of China) · Jianfei Cai (Monash University)
由于医学影像中的内在数据不确定性（如模糊的边界）和不同观察者的专长和偏好的差异，注释模糊已经成为训练基于深度学习的医学影像分割模型的主要障碍。为了解决这个问题，常见的做法是收集来自不同专家的多个注释，从而导致了多评估者医学影像分割的设置。现有的工作旨在将不同的注释合并成 Often unattainable in numerous medical contexts 的“groundtruth”，或生成多样化的结果，或产生个性化的结果，这些结果与个别专家评估者相对应。在这里，我们提出了一个更有雄心的多评估者医学影像分割的目标，即获得既多样化又个性化的结果。具体来说，我们提出了一个名为 D-Persona 的两阶段框架（首先是多样化，然后是个性化）。在阶段 I 中，我们利用多个给定的注释来训练一个 Probabilistic U-Net 模型，使用一个边界约束损失来提高预测的多样性。通过这种方式，在阶段 I 中构建了一个共同的潜在空间，其中不同的潜在代码表示不同专家的观点。然后，在阶段 II 中，我们设计了多个基于注意力的投影头，以适应地从共享的潜在空间中查询相应的专家提示，然后执行个性化的医学影像分割。我们在我们的鼻咽癌数据集和公共肺结节数据集（即 LIDC-IDRI）上评估了所提出的模型。广泛的实验表明，我们的D-Persona 可以同时提供多样化和个性化的结果，并为多评估者医学影像分割实现了新的最佳性能。我们的代码将在
https://github.com/ycwu1997/D-Persona上发布。
4、
Fully Convolutional Slice-to-Volume Reconstruction for Single-Stack MRI
Sean I. Young (Harvard Medical School / MIT) · Yaël Balbastre (Massachusetts General Hospital, Harvard Medical School) · Bruce Fischl (Massachusetts General Hospital, Harvard University) · Polina Golland (Massachusetts Institute of Technology) · Juan Iglesias (Harvard University)
在磁共振成像（MRI）中，切片到体积重建（Slice-to-Volume Reconstruction，简称SVR）指的是从受运动影响而损坏的2D切片堆栈中计算重建未知的3D磁共振体积。尽管SVR方法很有前景，但当前的SVR方法需要多个切片堆栈才能准确重建3D，这导致扫描时间延长，并限制了它们在时间敏感的应用中的使用，例如胎儿fMRI。在这里，我们提出了一种SVR方法，克服了以前工作的不足，并在极端层间运动的情况下产生了最先进的重建效果。
5、
Intraoperative 2D/3D Image Registration via Differentiable X-ray Rendering
Vivek Gopalakrishnan (MIT) · Neel Dey (Massachusetts Institute of Technology) · Polina Golland (Massachusetts Institute of Technology)
DiffPose是一种用于2D/3D图像配准的自监督方法，特别适用于外科手术决策中快速便携的2D术中图像（如X光片）与高保真的3D术前参考扫描（如CT扫描）的对齐。这种方法旨在解决传统优化方法在实际应用中速度慢、易陷入局部最小值，以及在小数据集上训练的神经网络在新病人身上表现不佳或需要不切实际的地标监督的问题。
DiffPose的核心在于利用病人特定的模拟和可微分的基于物理的渲染技术，以实现准确的2D/3D配准，而无需依赖手动标记的数据。
在手术前，通过使用预手术 CT 渲染的随机方向的合成 X 射线来训练 CNN，以回归 X 射线的姿态。然后，CNN初始化快速的手术中测试时间优化，该优化使用可微的 X 射线渲染器来精细化解决方案。我们的工作进一步提出了几种几何原理上的方法，用于从SE(3)采样摄像机姿态，用于稀疏可微渲染，并在切线空间se(3)中使用测地线和多尺度局部敏感损失来驱动注册。DiffPose 在手术数据集上实现了毫米级的精度，并在手术中的速度上有所提高，比现有的无监督方法提高了一个数量级，甚至超过了有监督的基线方法。我们的代码在
https://github.com/eigenvivek/DiffPose上公开可用。
6、
Building Optimal Neural Architectures using Interpretable Knowledge
Keith Mills (University of Alberta) · Fred Han (Huawei Technologies Ltd.) · Mohammad Salameh (Huawei Technologies Canada Ltd.) · Shengyao Lu (University of Alberta) · CHUNHUA ZHOU (Huawei Technologies Ltd.) · Jiao He (huawei) · Fengyu Sun (Tongji University) · Di Niu (University of Alberta)
神经架构搜索（Neural Architecture Search，简称NAS）是一种成本高昂的实践。搜索空间可以涵盖大量设计选择，每个架构评估都需要付出不小的开销，这使得算法很难充分探索候选网络。在这篇论文中，我们提出了AutoBuild，这是一种学习将操作和架构模块的潜在嵌入与它们出现的架构的真实性能对齐的方案。通过这样做，AutoBuild能够为架构模块分配可解释的重要性得分，例如单个操作特征和更大的宏观操作序列，从而无需任何搜索就能构建高性能的神经网络。
7、
Person in Place: Generating Associative Skeleton-Guidance Maps for Human-Object Interaction Image Editing
ChangHee Yang (LG Electornic) · Chan Hee Kang (Sogang University) · Kyeongbo Kong (Pusan National University) · Hanni Oh (Sogang University) · Suk-Ju Kang (Sogang University)
大型语言模型（LLMs）在问答（QA）和检索等更客观的任务上取得了令人印象深刻的成果，但对于开放式文本生成的性能评估仍然不简单，原因包括（1）数据污染；（2）多维度的评估标准；以及（3）来自评审人员个人偏好的主观性。为了解决这些问题，我们提出了在一个无污染的开放式生成评估中建模个性化。我们通过适当的匿名处理和新的个性化标签，重新利用现有的数据集，创建了两个新的数据集Per-MPST和Per-DOC，用于个性化故事评估。我们进一步开发了一个个性化故事评估模型PERSE，用于推断评审人员的偏好并提供个性化评估。具体来说，给定某个特定评审人员的少量示例性评论，PERSE能够预测出该评审人员对新文本输入的详细评论或几个方面的细粒度比较（例如趣味性和惊喜度）。实验结果表明，PERSE在故事评分的Kendall相关性上比GPT-4高出15.8%，在成对偏好预测准确率上高出13.7%。这两个数据集和代码将被发布。
原文作者：Agent的潜意识；如有侵权，请联系管理员删除。
