ChatGPT写审稿意见，靠谱吗？北大&密歇根最新研究告诉你。

你遇到过“ChatGPT”味道十足的审稿意见吗？

是不是总感觉哪里怪怪的，却说不上来？低质量的审稿意见一直是科研人的一大痛点，而大语言模型 (LLM) 的出现，似乎为解决这个问题带来了曙光，但事实真的如此吗？

先来做个小测试，你能分辨出下面哪段审稿意见是ChatGPT写的吗？

例1:

★

… The paper is engaging and addresses a highly pertinent issue: information elicitation in the context of Large Language Models (LLMs). The concept of computing conditional probability using an LLM is both elegant and innovative. …

… A primary concern is the robustness of the method used to estimate conditional probability with an LLM, which may require additional experimentation and methodological refinement to ensure reliability and applicability across diverse scenarios. …

例2:

★

… The paper presents a novel application of LLMs to enhance peer prediction mechanisms, which is a significant step forward from traditional methods that focus on simpler report types. …

… While the mechanisms are theoretically sound, their practical implementation, especially in real-world settings with diverse and complex textual inputs, might pose significant challenges. …

怎么样，是不是感觉两者都像模像样？

答案揭晓： 第一段是人类审稿人写的，而第二段是ChatGPT-4o生成的。

看出区别了吗？虽然ChatGPT-4o的审稿意见乍一看“挺专业”，但仔细推敲就会发现，它提出的问题往往是泛泛而谈，缺乏针对性。就像例子中的“challenge in real-world settings”，几乎对所有研究都适用，没什么参考价值。而人类审稿人的意见则更加具体，直击问题要害。

这背后的原因在于： 虽然大模型的能力在不断提升，但它仍然缺乏对研究内容的深入理解，难以像人类专家一样给出精准到位的评价。更令人担忧的是，大模型的出现使得生成低质量审稿意见的成本变得极低，学术界也因此对滥用大模型生成低质量审稿意见表示担忧。

那么，如何才能激励审稿人提供高质量的审稿意见呢？

来自北京大学和密歇根大学的研究者最近提出了一种新的解决方案：利用大模型本身来识别高质量的审稿意见。

他们设计了两种机制：GPPM (Generative Peer Prediction Mechanism) 和 GSPPM (Generative Synopsis Peer Prediction Mechanism)，旨在让高质量的审稿意见获得更高的评分。

简单来说， 这两种机制的核心思想是利用信息论中的“互信息”概念，来衡量两位审稿人意见之间的相关性和信息量。他们使用大模型来估计这种“互信息”，并将其作为评判审稿意见质量的依据。

研究团队在ICLR 2020 OpenReview数据集上进行了实验，结果表明，GPPM和GSPPM能够有效区分人类和LLM生成的审稿意见，并且GSPPM的效果更佳。

不仅如此，这两种机制还能有效识别Yelp餐厅点评等其他类型的低质量文本评价，具有很强的泛化能力。

这项研究为解决低质量审稿意见问题提供了新的思路，也为大模型在学术评价领域的应用开辟了新的方向。

未来， 研究者计划进一步优化GPPM和GSPPM，并将其应用于更多类型的文本评价场景，例如中文文本评价等。让我们共同期待这项技术的进一步发展，为学术评价体系的完善贡献力量。

以上就是我的分享，希望你能阅有所获，如果想加入社群可以扫下方的二维码添加我的微信，这里有最新的AI资讯和应用案例，互相交流共同提升，备注交流群，我会拉你入群（为了防止恶意广告营销，让大家有更好的交流氛围，现在进群需要9.9的门槛，希望大家理解），如果对加群不感兴趣也欢迎加我微信围观朋友圈，我会经常更新AI领域的好玩的工具。

另外还有一个好消息，我的免费星球通过试运营啦，现在可以加入了，限时免费，直接扫码即可，无需费用。我会分享有关AI+RPA自动化的流程和一些关于AI方面的咨询，欢迎感兴趣的小伙伴加入