这次分享的是ICLR2024 ORAL的论文中有代码的。同时也是AGI相关的论文。第一篇是讲用LLM做数学定理证明的。这个比较学术派。他构建了一个LEGO-Prover模块，使LLMs能够利用从库中检索到的现有技能，并在证明过程中创建新技能，提升数学证明的效果。这个是提升LLM的内核能力的拓展。第二篇 给大语言模型做星座分析，这个很有意思，以后就是说LLM也是有性格倾向的。这个好玩，更加具有拟人性。下次虚拟男友就给小姐姐们做一个他们喜欢的星座的男孩纸。第三篇 long LORA技术，可以将底座为 4K上下文的LLAMA扩展到100K。而且公开的代码。非常经典的一篇论文。很适合实战。第四篇是 ASR的一个新结构：zipformer。可以更快速的推理，提升ASR的效果和实时性。因为类transfomer结构（conformer）做 语音识别实时性一直不行。这个算是很大的突破。个人认为ICLR的 ORAL含金量非常高。都是非常action的论文。致敬每一位作者。LEGO-Prover: Neural Theorem Proving with Growing LibrariesHaiming Wang, Huajian Xin, Chuanyang Zheng, Zhengying Liu, Qingxing Cao, Yinya Huang, Jing Xiong, Han Shi, Enze Xie, Jian Yin, Zhenguo Li, Xiaodan Liang 尽管大型语言模型（LLMs）取得了成功，但定理证明任务仍然是最困难的推理任务之一，远未完全解决。以前使用语言模型的方法已经展示了有希望的结果，但它们仍然难以证明甚至是中学水平的定理。这些方法的一个共同限制是它们在整个定理证明过程中假设了一个固定的定理库。然而，众所周知，创造新的有用的定理甚至新的理论不仅有帮助，而且对于推进数学和证明更困难、更深入的结果至关重要和必要。在这项工作中，我们提出了LEGO-Prover，它采用了一个不断增长的技能库，其中包含经过验证的引理作为技能，以增强用于定理证明的LLMs的能力。通过模块化构建证明，LEGO-Prover使LLMs能够利用从库中检索到的现有技能，并在证明过程中创建新技能。这些技能通过提示LLM进一步演化，以在另一个层面上丰富库。模块化和可重用的技能不断添加到库中，以解决越来越复杂的数学问题。此外，学习到的库进一步弥合了人类证明和形式证明之间的差距，通过使缺失步骤的推断变得更容易。LEGO-Prover将miniF2F有效（48.0%至57.0%）和miniF2F测试（45.5%至47.1%）的最新通过率提升。在证明过程中，LEGO-Prover还设法生成了超过20,000个技能（定理/引理），并将它们添加到不断增长的库中。我们的消融研究表明，这些新添加的技能确实有助于证明定理，成功率从47.1%提高到50.4%。我们还发布了我们的代码和所有生成的技能。On the Humanity of Conversational AI: Evaluating the Psychological Portrayal of LLMsJen-tse Huang, Wenxuan Wang, Eric John Li, Man Ho LAM, Shujie Ren, Youliang Yuan, Wenxiang Jiao, Zhaopeng Tu, Michael Lyu 最近的研究已经超越了评估大型语言模型（LLMs）的性能，扩展到了从心理学角度考察它们的特性，承认了理解它们的行为特性的必要性。在这一背景下，给LLMs进行性格测试已经成为一个值得注意的领域。然而，最初为人类设计的心理学量表是否适用于LLMs，这是一个持续争论的问题。我们的研究旨在确定将性格评估应用于LLMs的可靠性，明确调查LLMs是否表现出一致的性格特征。通过分析2,500种设置下的回应，发现gpt-3.5-turbo在回应大五人格清单方面表现出一致性，显示出高度的可靠性。此外，我们的研究探索了gpt-3.5-turbo模拟不同性格和代表不同群体的潜力，这是社会科学领域越来越多寻求的能力，用LLMs替代人类参与者以降低成本。我们的发现揭示了LLMs有潜力通过特定的提示指令代表不同的性格。通过揭示LLMs个性化的光明前景，我们的研究努力为未来在这个领域的探索铺平道路。我们已经通过https://github.com/CUHK-ARISE/LLMPersonality公开访问实验结果和相应的代码。LongLoRA: Efficient Fine-tuning of Long-Context Large Language ModelsYukang Chen, Shengju Qian, Haotian Tang, Xin Lai, Zhijian Liu, Song Han, Jiaya Jia 我们提出了 LongLoRA，一种有效的微调方法，它扩展了预训练的大型语言模型（LLMs）的上下文大小，而且计算成本有限。通常，用长上下文大小训练 LLMs 是计算成本高昂的，需要大量的训练时间和 GPU 资源。例如，在上下文长度为 8192 时的训练需要比在上下文长度为 2048 时的自注意力层计算成本高出 16 倍。在本文中，我们从两个方面加速了 LLMs 的上下文扩展。一方面，虽然在推断过程中需要密集的全局注意力，但是通过稀疏的局部注意力有效地对模型进行微调是可行的。所提出的移位稀疏注意力有效地实现了上下文扩展，从而在计算成本上节省了不少，同时与使用标准注意力进行微调的性能相当。特别地，它在训练中只需要两行代码就可以实现，而在推断过程中是可选的。另一方面，我们重新审视了参数高效微调方法在上下文扩展方面的应用。值得注意的是，我们发现在可训练的嵌入和标准化的前提下，LoRA 用于上下文扩展效果很好。LongLoRA 将这种改进的 LoRA 与 S^2-Attn 结合起来。LongLoRA 在 Llama2 模型的各种任务上都取得了强大的实验结果，包括 7B/13B 到 70B。LongLoRA 可以在一个 8x A100 机器上将 Llama2 7B 的上下文从 4k 扩展到 100k，或将 Llama2 70B 扩展到 32k。LongLoRA 在保留模型原来的架构的同时扩展了模型的上下文，并且与大多数现有的技术（如 Flash-Attention2）兼容。此外，我们进一步使用 LongLoRA 和我们的长指令遵循数据集 LongAlpaca 进行了监督微调。Zipformer: A faster and better encoder for automatic speech recognitionZengwei Yao, Liyong Guo, Xiaoyu Yang, Wei Kang, Fangjun Kuang, Yifan Yang, Zengrui Jin, Long Lin, Daniel Povey Conformer已经成为自动语音识别（ASR）中最流行的编码器模型。它通过向变换器（transformer）添加卷积模块来学习局部和全局依赖关系。在这项工作中，我们描述了一个更快、更节省内存且性能更好的变换器，称为Zipformer。模型的变化包括：1）类似U-Net的编码器结构，其中中间堆栈以较低的帧率运行；2）重新组织的块结构，包含更多的模块，在其中我们为了效率重用注意力权重；3）一种名为BiasNorm的LayerNorm的修改形式，允许我们保留一些长度信息；4）新的激活函数SwooshR和SwooshL比Swish效果更好。我们还提出了一种新的优化器，称为ScaledAdam，它通过每个张量的当前比例来缩放更新，以保持相对变化大致相同，并且显式地学习参数比例。它实现了比Adam更快的收敛和更好的性能。在LibriSpeech、Aishell-1和WenetSpeech数据集上的广泛实验证明了我们提出的Zipformer比其他最先进的ASR模型更有效。我们的代码可以在https://github.com/k2-fsa/icefall公开获取。
原文作者：Agent的潜意识；如有侵权，请联系管理员删除。
