一个新的开源框架 TextArena 让大语言模型在竞争环境中相互对抗，旨在测试并提升它们的沟通能力。

大语言模型正在超越固定的问答任务，迈向更复杂、开放性的问题。TextArena 属于一类新型基准测试，旨在检验并拓展大语言模型的能力边界。

TextArena 是一个交互式开源平台，由新加坡科技研究局（A*STAR）和 IBM Research 的研究人员共同开发，大语言模型智能体在其中进行二十多种文本游戏的对抗。该平台上的大多数谜题、卡牌和棋盘游戏让人联想到 20 世纪 80 年代的简陋电脑游戏，需要运用逻辑、策略和谈判技巧才能取胜。

这类软技能在传统语言模型中一直难以教授，更不用说评估了。随着大语言模型向 AI 智能体转型，各种新的训练和评估范式正在涌现。

这些更复杂的环境衡量的是大语言模型智能体在规划、调用工具、执行任务以及相互交互以完成现实世界任务方面的能力，涵盖从诊断和修复 IT 问题到管理工业机械全生命周期等场景。

TextArena 标志着回归十年前的可控环境——当时专用 AI 模型在国际象棋、围棋和吃豆人等狭窄领域达到了超人水平。但这一次，“玩家”是语言的统计模型，目标是通过学习各种游戏来调用不同的软技能，从谈判到共情再到冲突解决。

如今的大语言模型擅长生成文本和代码，本质上是对它们从互联网上大量搜集的知识进行改写。但它们仍然难以应对定义现实生活的那类不可预测场景和社交互动。TextArena 正是为填补这一空白而设计的。

“我们想用智能体做的很多事情都是开放式的，而我们才刚刚开始学习如何训练和评估这类技能，”IBM 研究员 Leshem Choshen 说道，他与 A*STAR 研究员 Leon Guertler 和 Bobby Cheng 共同创办了该平台。

在今年 12 月的 NeurIPS 大会上，研究人员将有机会在首届心智理论挑战赛中测试其模型的社会智能，参赛者将在 TextArena 主办的四个游戏中展开对决。

“我们现在有在国际象棋上超越人类的 AI，但从未有过在谈判上超越人类的 AI，”Leon Guertler 说道。“我们甚至不知道那会是什么样子。”

“某种训练场”

对“微型”语言模型的共同兴趣让 AI 评估专家 Choshen 和 Guertler 走到了一起。他们此前各自在实验微型模型，试图找到公平比较大模型和小模型的方法。在某个时刻，他们的讨论转向了动态基准测试，以及利用强化学习（RL）来测试和提升大语言模型智能体认知技能的潜力。

构建一个用于训练和评估的强化学习平台带来了诸多益处。

评估可以持续运行，排行榜实时更新。该平台能够比测验或考试更贴近真实世界，让大语言模型通过试错来学习，而非模仿人类提供的动作或示例。它还能生成几乎无限量的数据，供模型回灌到训练中。

最棒的是，研究人员相信他们能以固定基准测试和没有语言的旧式强化学习环境所无法做到的方式挑战大语言模型。“我们现在有在国际象棋上超越人类的AI，但从未有过在谈判上超越人类的AI，”Guertler说。“我们甚至不知道那会是什么样子。”

他们决定将平台命名为TextArena，购买了域名，并将网站设计成早期AI“健身房”的样子——AI爱好者们会去那里磨练模型在特定任务上的技能。

该网站在1月上线几周后获得了意想不到的推动，当时AI先驱Andrej Karpathy在X上敦促他的120万粉丝构建更多开放的强化学习环境，他将其比作“某种健身房”，大语言模型可以在其中提升认知策略。

Guertler几乎立即做出了回应：

时机完美，我们正要发布TextArena。一个包含57款文字游戏（首次发布30款）的合集，包括单人、双人和多人游戏。我们尝试保持与OpenAI gym相似的接口，让添加新游戏变得非常容易，并创建了…

自那以后，216个大语言模型在超过100,000场游戏中展开了竞争，TextArena库因AI训练目的被下载超过65,000次。Anthropic的Claude-3.5-Sonnet目前位居第一，“真实技能”得分为29.6，紧随其后的是DeepSeek的Qwen-Max，得分28.1，以及Google的Gemini 2.0模型，得分27.5。

吸引电子游戏和AGI爱好者的磁石

来自开源社区的AI爱好者们热情地拥抱了TextArena，实现新游戏、报告和修复漏洞，并完善用户界面。

Alex Duffy是Every Inc的顾问，这家初创公司提供AI相关的后台解决方案，他目前正在向网站添加开源版本的《外交》游戏。他很期待看到大语言模型能多快学会谈判技巧，以及在网站上成功玩游戏所需的其他认知技能。

“在早期的健身房环境中，你试图擅长一款游戏，”他说。“在这里，你在不断更换竞技场和提示词。这灵活得多。”

另一位志愿者 Simone Romeo 设计了 30 多款游戏，针对网站上尚未覆盖的技能。其中包括对囚徒困境的改编，以及对现代电梯游说的演绎。在日常工作中，他是米兰的一名学习与发展顾问，开发游戏帮助员工练习销售话术和领导力技能等。

在众多大语言模型（LLM（大语言模型））正“刷爆所有推理基准”之际，他对教 LLM 软技能的挑战很感兴趣。“我们希望用 AI 改善生活，所以它们越能更好地与我们互动，就越有用，”他说。

在开源社区的帮助下，团队持续为 TextArena 添加新游戏，重点关注需要合作与心理理论的游戏。你可以在 textarena.ai 上试玩一些游戏。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/LLM-social-intelligence-framework