Think and Retrieval: A Hypothesis Knowledge Graph Enhanced Medical Large Language Models

当大模型刚问世的时候，有言论说知识图谱是不是没有必要了，从语义网到知识图谱，跨世纪的时间里，知识图谱证明了其价值；面对大模型的落地困境，图谱再一次展现了其存在的意义。

这篇论文探讨了大型语言模型（LLMs）在自然语言处理领域中的应用，并提出了两种策略：检索增强生成和微调。作者还提出了HyKGE框架，利用知识图谱来增强医疗领域的LLMs。通过将LLMs与知识图谱相结合，HyKGE展示了优越的表现，在解决准确性和可解释性挑战方面具有潜在的应用价值。使用真实世界数据集进行评估，结果表明HyKGE在提供精确信心的知识方面表现出色，特别是在复杂和困难的情况下。

论文方法

方法描述

该研究提出了一种名为HyKGE的医疗知识图谱增强模型，其主要目的是在自然语言处理中提高医疗领域的问答效果。该模型基于四个子模块：Hypothesis Output Module、NER Module、Knowledge Graph Retrieval Module和Noise Knowledge Filtering Module。首先，用户查询通过预训练的语言模型（LLM）获得一个假设输出（HO），然后使用命名实体识别（NER）模型提取出其中的医学实体，并与知识图谱中的实体进行匹配。接下来，利用匹配到的实体构建路径，将其作为知识库用于后续的知识检索。最后，使用重排模型过滤掉冗余的信息，得到更加准确的答案。

方法改进

相较于传统的基于查询语句的检索方法，该模型引入了预先训练好的语言模型，使得系统能够更好地理解用户的意图，从而提高了答案的质量。此外，该模型还采用了路径信息来构建知识库，可以更全面地涵盖相关领域内的知识，同时也减少了不必要的噪声干扰。

解决的问题

该模型旨在提高医疗领域的问答效果，为医生和患者提供更好的诊断和治疗建议。通过将自然语言处理技术应用于医疗领域，该模型能够更快速、准确地回答用户的问题，从而帮助人们更好地了解自己的健康状况并采取相应的措施。

论文实验

本文主要介绍了作者在开放域医学问答任务中使用HyKGE模型的实验结果，并与其他方法进行了比较。具体来说，作者使用了两个公开数据集（MMCUMedical和CMB）作为实验数据源，采用了基于自然语言处理和文本挖掘技术构建的知识图谱CMeKG作为外部知识库，选择了三种大型预训练语言模型（GPT3.5、Baichuan13B-chat和Huatuo LLM）作为基础模型，并设计了多种增强策略来提升模型性能。
在实验过程中，作者将准确率（EM）和F1分数作为评估指标，同时计算了多选题的正确率（PCR）。结果显示，HyKGE模型在所有评估指标上都表现出了优于其他方法的优势，特别是在F1分数上取得了大约4.62%的提高。此外，通过对比不同版本的HyKGE模型，作者还发现，增加描述模块可以显著提高模型性能，而引入重排机制则有助于提高输出精度。
最后，作者通过两个案例研究展示了HyKGE模型的实际应用效果。这些案例表明，HyKGE模型能够有效地利用结构化知识图谱对用户查询进行验证和修正，从而提高了模型输出的准确性和可靠性。总之，本文的实验结果证明了HyKGE模型在开放域医学问答任务中的优越性能和广泛应用前景。

论文总结

文章优点

该论文提出了一种基于假设知识图增强的大语言模型（HyKGE），通过将大语言模型与知识图相结合，提高了在医疗领域中的准确性和可解释性，并验证了其有效性。此外，该论文还探讨了解决基于检索增强生成（RAG）框架中存在的问题的方法。

方法创新点

该论文的主要贡献在于提出了探索性的假设输出，利用零样本能力补偿用户查询不完整的问题，同时在后检索阶段引入片段重排模块，进一步提高外部知识推理路径与用户查询之间的匹配度。这种方法可以减少交互次数并提高效率。

未来展望

随着人工智能技术的发展，基于大语言模型的知识图谱构建和应用将会更加广泛。未来的研究方向包括如何更好地结合大语言模型和知识图谱来解决实际问题，以及如何处理大规模数据和提高算法效率等。
用知识图谱来增强医疗领域的LLMs。通过将LLMs与知识图谱相结合，HyKGE展示了优越的表现，在解决准确性和可解释性挑战方面具有潜在的应用价值。使用真实世界数据集进行评估，结果表明HyKGE在提供精确信心的知识方面表现出色，特别是在复杂和困难的情况下。该代码将在发表之前可用。