论文原文：Why LLMs Hallucinate, And How To Get (Evidential) Closure: Perceptual, Intensional and Extensional Learning for Faithful Natural Language Generation

这篇论文探讨了语言模型（LLMs）为什么会产生幻觉，并提出了如何让它们输出与证据相符的内容的方法。作者指出，LLMs之所以会产生幻觉是因为它们的输出不受制于其拥有的证据是否支持该陈述，这被称为“证据闭合”。为了使LLMs能够生成符合证据的输出，需要进行多模态学习、扩展性学习和语义学习等过程。最后，作者还介绍了一种名为Learn-Babble-Prune的启发式方法，可以有效地将LLMs的输出限制为与其拥有的证据相符的内容。

论文方法

方法描述

该论文提出了一种基于语义结构和真值赋值的自然语言处理模型，用于评估句子的真实性和学习关于世界的知识。该模型首先定义了一个语言符号集L、一个可能的状态集Ω以及一组扩展或参考映射R：L→Ω，将字符串映射到状态。然后，引入了语义结构S，它为每个状态分配二进制值，并使用估值函数Vs：Ω→{0, 1}来表示每个结构。接下来，定义了状态在某个结构下是否取得的概念，并将实际世界视为一个特定的结构s0。最后，通过考虑语句的真实性和它们与世界的对应关系，提出了事实性和忠诚度的概念。

方法改进

该论文提出的方法改进了传统自然语言处理模型中只关注语义相似性的限制，增加了对真实性和忠实度的关注。通过引入真值赋值的概念，使得模型能够判断句子的真实性并学习关于世界的知识。此外，该方法还通过引入语义结构的概念，使得模型可以更好地理解句子与现实世界的关系。

解决的问题

该论文提出的自然语言处理模型解决了传统模型无法准确评估句子真实性的问题，同时也提高了模型对于学习关于世界的知识的能力。此外，该方法还可以帮助模型避免产生虚假信息和误解的情况，从而提高模型的可靠性和准确性。

论文实验

本文主要介绍了如何通过限制和约束来训练出更加真实和可靠的大型语言模型（LLM）。首先，文章提出了一个基于符号逻辑的理论框架，用于分析LMM是否具有事实性质，并证明了目前的LLM在一定程度上是幻觉性的。然后，文章提出了一种基于对称群的语义表示方法，将字符串映射到其语义轨道上，从而实现对句子的同义词处理。接着，文章进一步探讨了如何通过限制输出句子的范围来解决这一问题，提出了证据集的概念，并设计了一个名为Learn-Babble-Prune的框架来实现这一目标。最后，文章还讨论了一些具体的应用场景，并指出了LMM的一些局限性。

总之，本文提供了一种新的思路和方法来改进大型语言模型的可靠性和真实性，对于自然语言处理领域的研究和发展具有一定的参考价值。

论文总结

文章优点

本文提出了一种基于证据的方法来构建事实或忠实的大型语言模型（LLM）。该方法通过约束模型的输出与输入中的声明一致来实现这一点，并且需要获取大量的机器可读字符串证据或者使用传感器结合文本编码器验证输出。此外，本文还提出了一个简单的拒绝采样方法来实现实践中的这种方法。

方法创新点

本文提出的证据驱动的语言模型是一种新的方法，它可以通过限制模型的输出与输入中的声明一致来确保模型的输出是事实或忠实的。这种方法不仅可以应用于自然语言处理领域，还可以扩展到其他领域，如计算机视觉等。

未来展望

本文提出的方法具有很大的潜力，但是还需要进一步的研究和改进。例如，可以探索更有效的证据收集方法，以提高模型的事实性和准确性。此外，还可以考虑如何将这种方法与其他技术相结合，如强化学习，以提高模型的性能和效率。最后，还需要进一步研究如何应对数据集偏差和安全问题，以确保模型的可靠性和安全性。