你能分清屏幕背后是人是机器吗？ 最近，一项关于人工智能的实验引发了轩然大波：超过一半的参与者竟然被 GPT-4 骗了过去，误以为它就是个活生生的人！

这项实验可是大有来头，它复刻了著名的“图灵测试”。这个测试由人工智能之父艾伦·图灵在 1950 年提出，简单来说，就是让人和机器聊天，看看人类能不能分辨出对方是机器还是真人。能骗过人类的机器，就意味着它拥有了和人类相当的智能。

来自加州大学圣地亚哥分校认知科学系的科学家们找来了 500 名参与者，让他们分别和四个“聊天对象”进行对话。这四个对象中，一个是真人，另外三个则分别是上世纪 60 年代的聊天机器人 ELIZA、GPT-3.5 和最新的 GPT-4。

你猜怎么着？GPT-4 竟然有 54% 的概率被认成是真人！ 这可是有史以来第一次，AI 系统在需要互动的图灵测试中取得如此惊人的成绩。看来，现在的 AI 已经进化到能以假乱真的地步了！

实验细节揭秘

为了保证实验的严谨性，研究人员可是下足了功夫：

实验设计：

• 实验采用随机、对照、预注册的设计，力求结果真实可靠。
• 研究人员通过 Prolific 平台招募了 500 名参与者。
• 参与者被随机分成五组，分别对应人类、GPT-4、GPT-3.5、ELIZA 和评判者。

系统选择：

• GPT-4 和 GPT-3.5 都来自 OpenAI 公司，研究人员通过精心设计的提示词来引导它们的回复。
• ELIZA 则是上世纪 60 年代的“元老级”聊天机器人，主要用来作为参照。

提示词设计：

• 提示词要求模型扮演一个年轻人，使用轻松随意的语言风格，甚至可以偶尔使用俚语和故意拼写错误。
• 提示词还包含了一些游戏背景和近期新闻事件，确保模型的回复自然流畅。

游戏设置：

• 实验采用两人对话的形式，一个评判者和一个“聊天对象”（人类或 AI）进行对话。
• 每轮对话限时 5 分钟，评判者需要在时间结束前判断对方的身份。
• 每条消息限制在 300 字符以内，防止复制粘贴作弊。
• 为了模拟真人打字速度，AI 发送消息时还特意增加了延迟。

数据收集：

• 对话结束后，评判者需要判断对方的身份，并填写一份包含年龄、性别、教育水平等信息的调查问卷。
• 所有的对话记录和判断数据都会被保存下来，用于后续分析。

紧张刺激的测试过程

1. 对话开始： 参与者在不知道对方身份的情况下，与四个“聊天对象”分别进行 5 分钟的对话。
2. 对话环境：  对话界面模拟了常见的聊天软件，例如 WhatsApp，还设置了倒计时器、帮助按钮等。
3. 最终判断： 对话结束后，参与者需要根据对话内容判断对方是人还是 AI。

实验中使用的聊天界面。左侧是对话窗口，右侧是判断区域。

实验结果大公开

1. 判断结果： GPT-4 被认为是人类的概率高达 54%！远远超过了随机猜测的 50%，也远高于 ELIZA 的 22%。

• GPT-3.5 的得分是 50%，与随机猜测相当。
• 真人被认出的概率是 67%，看来还是真人更胜一筹。

2. 判断信心：

• 人类聊天对象：评判者信心最高，平均信心得分 73%。
• GPT-4：评判者信心中等。
• GPT-3.5：评判者信心中等。
• ELIZA：评判者信心最低。

3. 判断策略： 评判者更倾向于通过闲聊和观察对方的语气、情绪等社会情感因素来进行判断，而不是传统的知识问答。

4. 年龄影响： 年轻人更难被 AI 欺骗，可能是因为他们对新技术更熟悉。

实验结果引发大讨论

1. GPT-4 真的通过图灵测试了吗？ 虽然 54% 的通过率还没达到一些严格的标准（例如 70%），但考虑到 ELIZA 的成绩只有 22%，GPT-4 的表现已经非常出色了。它至少在某些情况下可以成功地“伪装”成人类。

2. 图灵测试到底在测试什么？ 研究发现，人们在判断对方是人还是 AI 时，更看重的是语言风格、语气、情绪等因素，而不是知识或推理能力。这说明，图灵测试可能更多地是在衡量 AI 模仿人类语言和情感交流的能力。

3. AI 机器人会带来哪些影响？ 随着 AI 技术的不断发展，AI 系统在未来可能会取代人类从事一些工作，例如客服、翻译等。但这也会带来一些潜在的风险，例如误导公众、破坏社会信任等。

4. 如何更好地识别 AI？  研究发现，询问逻辑问题、当前事件和个人经历可以帮助人们更好地识别 AI。此外，提高公众对 AI 的了解程度，也能减少被 AI 欺骗的风险。

想了解更多实验细节，请阅读完整论文：https://arxiv.org/pdf/2405.08007

以上就是我的分享，希望你能阅有所获，如果想加入社群可以扫下方的二维码添加我的微信，这里有最新的AI资讯和应用案例，互相交流共同提升，备注交流群，我会拉你入群（为了防止恶意广告营销，让大家有更好的交流氛围，现在进群需要9.9的门槛，希望大家理解），如果对加群不感兴趣也欢迎加我微信围观朋友圈，我会经常更新AI领域的好玩的工具。

另外还有一个好消息，我的免费星球通过试运营啦，现在可以加入了，限时免费，直接扫码即可，无需费用。我会分享有关AI+RPA自动化的流程和一些关于AI方面的咨询，欢迎感兴趣的小伙伴加入