文 | AI国际站 凯莉

编 | 魏文

本文由AI国际站 原创出品，未经许可，任何渠道、平台请勿转载，违者必究。

韩国围棋冠军李世多在2016年与DeepMind的人工智能算法AlphaGo的一次历史对决中败北，上周，他宣布退役。

Lee告诉联合通讯社：“随着AI在围棋游戏中的首次亮相，我已经意识到，即使我通过疯狂的努力成为第一名，我也不是顶尖的。”“即使我成为第一名，也有一个无法击败的实体。”可以预见，Se-dol的评论很快在著名的科技出版物中出现，其中一些使用具有AI主导主题的耸人听闻的标题。

自AI诞生以来，游戏一直是评估算法效率的主要基准之一。得益于深度学习和强化学习的进步，人工智能研究人员正在创建程序，这些程序可以掌握非常复杂的游戏并击败世界上最有经验的玩家。不知情的分析师一直在获得这些成功，表明AI正在变得比人类更聪明。

但与此同时，当代的AI在每个人都能执行的最基本的操作中惨败。这就引出了一个问题，精通游戏能证明一切吗？如果没有，您如何测量AI系统的智能水平？请看下面的例子。在下面的图片中，向您展示了三个问题及其解决方案。还有第四项任务尚未解决。你能猜出解决方案吗？

AI科学家FrançoisChollet引入了抽象推理语料库（ARC），它以很少的训练示例来测试智能系统。（来源：Arxiv.org）

您可能会认为这很简单。您只需看这三个示例，就可以用多堵墙，多条线和不同颜色的线解决同一问题的不同变化。但是目前，还没有AI系统（包括在最负盛名的研究实验室开发的AI系统）可以通过很少的示例来学习解决此类问题。

上面的示例来自Keras深度学习库的创建者FrançoisChollet的论文“智力的度量”。乔莱特（Chollet）在勒塞多（Le-sedol）宣布退休前几周发表了这篇论文。在其中，他提供了有关理解和衡量智力的许多重要指南。

具有讽刺意味的是，乔莱特的论文并没有得到它所需要的关注。不幸的是，媒体对报道令人兴奋的AI新闻并获得更多点击感兴趣。这份长达62页的论文包含许多宝贵的信息，对于任何想了解炒作和轰动之外的AI状态的人来说，都是必读的文章。

但是，我将尽力总结Chollet在衡量AI系统并将其性能与人类智能性能进行比较时所提出的关键建议。

当前的AI有什么问题？

Chollet写道：“当代的AI社区仍然倾向于通过比较AI和人类在特定任务（例如棋盘游戏和视频游戏）上表现出的技能来对智能进行基准测试。”他补充说，在任何给定任务上仅对技能进行衡量都无法衡量智力。

实际上，对于针对特定任务优化AI算法的痴迷已经使社区陷入了狭AI的AI困境。结果，人工智能的工作已经偏离了开发具有与人类可比的智能的“思维机器”的最初愿景。

乔尔莱特在论文中指出：“尽管我们能够设计出在特定任务上表现出色的系统，但它们仍然存在明显的局限性，脆弱，耗费数据，无法理解与培训数据或创建者的假设略有不同的情况，并且如果没有人类研究人员的大力参与，就无法将自己调整为应对新任务的目标。”

乔莱特（Chollet）的观点与其他科学家关于深度学习系统的局限性和挑战的观点相吻合。这些局限性以多种方式体现出来：

• 需要数百万个示例来执行最简单任务的AI模型
• 遇到极端情况后立即失败的AI系统，超出训练示例范围的情况
• 容易产生对抗性示例的神经网络，输入数据中的小扰动会导致AI行为异常

举一个例子：OpenAI的Dota播放神经网络需要45000年的游戏时间才能达到专业水平。AI的可玩角色数量也受到限制，对游戏规则的最细微更改都会导致其性能突然下降。

在其他领域，例如自动驾驶汽车，也可以看到同样的情况。尽管有数百万小时的路途经验，但为自动驾驶汽车提供动力的AI算法可能会犯一些愚蠢的错误，例如撞到车道分隔栏上。

什么是智力？

人工智能界一直在努力的关键挑战之一就是定义智能。数十年来，科学家一直在争论提供一个清晰的定义，以使我们能够评估AI系统并确定什么是智能的。Chollet借鉴了DeepMind联合创始人Shane Legg和AI科学家Marcus Hutter的定义：“情报可以衡量代理在广泛环境中实现目标的能力。”

这里的关键是“实现目标”和“广泛的环境”。当前大多数AI系统在第一部分都相当出色，即要实现非常具体的目标，但在广泛的环境中却很难做到。例如，可以检测图像中的对象并对其进行分类的AI系统将无法执行其他一些相关任务，例如绘制对象的图像。然后，Chollet研究了创建智能系统的两种主要方法：符号AI和机器学习。

象征性AI与机器学习

早期的AI研究专注于符号AI，它涉及在计算机程序中创建知识和行为的显式表示。这种方法需要人工工程师精心编写规则，以定义AI代理的行为。“然后，如果我们能够将人类技能编码为正式规则，并将人类知识编码为显式数据库，则AI界将解决“智能问题”，这是AI界普遍接受的。

但是，这些符号化的AI系统并没有单独表现出智能，而是在创建可以解决特定任务的复杂程序时体现了其创造者的才智。第二种方法是机器学习系统，其基础是为AI模型提供来自问题空间的数据，并使其发展自己的行为。迄今为止，最成功的机器学习结构是人工神经网络，它是复杂的数学函数，可以在输入和输出之间创建复杂的映射。

例如，您无需人工编码X射线幻灯片中检测癌症的规则，而是向神经网络提供了许多幻灯片，这些幻灯片上标有其结果，称为“训练”。AI检查数据并建立数学模型来表示癌症模式的共同特征。然后，它可以处理新的幻灯片，并输出患者患癌症的可能性。

神经网络和深度学习的进步使AI科学家能够解决许多以前用经典AI很难或不可能完成的任务，例如自然语言处理，计算机视觉和语音识别。

基于神经网络的模型（也称为连接主义AI）以其生物学对应物命名。它们基于这样的思想，即思维是将经验（数据）转化为行为的“空白”（tabula rasa）。因此，深度学习的总体趋势已成为通过创建更大的神经网络并为他们提供更多训练数据以提高其准确性来解决问题的方法。

Chollet拒绝了这两种方法，因为它们都无法创建像人类思维一样灵活而又易变的通用AI。我们通过我们最熟悉的工具来了解世界。如今，越来越明显的是，这两种关于人类智能本质的观点-无论是专用程序的集合，还是通用的Tabula Rasa——都可能是错误的。

真正的智能系统应该能够开发出涵盖许多任务的高级技能。例如，掌握Quake 3的AI程序应该能够以很高的水平玩其他第一人称射击游戏。不幸的是，当前的AI系统实现的最佳效果是“局部泛化”，这是它们自己狭窄域中有限的机动空间。

弗朗索瓦·乔莱特（FrançoisChollet）将情报分为三层。当前的AI系统仍在这个阶梯的底部挣扎。（来源：Arxiv.org）

通用AI的要求

乔莱特在论文中指出，任何AI系统的“通用化”或“通用化能力”是其“处理与先前遇到的情况不同的情况（或任务）的能力”。

有趣的是，这是符号和连接主义AI都缺少的组件。前者需要工程师明确定义其行为边界，而后者则需要通过示例概述其解决问题的领域。Chollet还走得更远，谈到了“开发人员感知的概括”，这是AI系统处理“系统或系统开发人员以前都没有遇到过的情况”的能力。

这是机器人管家所希望的那种灵活性，它可以执行房屋内的各种杂务而无需明确的指示或训练数据。史蒂夫·沃兹尼亚克（Steve Wozniak）著名的咖啡测试就是一个例子，其中机器人将进入随机的屋子并煮咖啡，而无需事先知道房屋的布局或其中所包含的电器。

在本文的其他地方，Chollet明确指出，通过利用先验（规则）和经验（数据）来欺骗自己实现目标的方式的AI系统不是智能的。例如，考虑Stockfish，最好的基于规则的国际象棋下棋程序。Stockfish是一个开源项目，是成千上万的开发人员的贡献的结果，这些开发人员创建并微调了数以万计的规则。一个基于神经网络的例子是AlphaZero，这是一种多功能AI，通过与自己进行数百万次对战，从而征服了数个棋盘游戏。

通过利用超出人类思维能力的资源，这两种系统都经过优化以执行特定任务。最聪明的人不能记住成千上万的国际象棋规则。同样，一生中没有人可以玩数百万象棋游戏。Chollet指出：“通过利用无限的先验或无限的数据来解决任何给定的任务，无论是象棋，足球还是任何电子竞技，都无法使我们更接近广泛的AI或通用AI。” 。

这就是为什么将Deep Blue，Alpha Zero，AlphaStar或任何其他具有人类智力的AI进行比较是完全错误的。同样，其他AI模型，例如Aristo，可以通过八年级科学考试的程序，也不具备与中学生相同的知识。它应有的科学能力归功于它所接受的大量知识训练，而不是其对科学世界的理解。

（注：一些AI研究人员，例如计算机科学家Rich Sutton，认为人工智能研究的真正方向应该是可以随数据可用性和计算资源扩展的方法。）

抽象推理语料库

在本文中，Chollet提出了抽象推理语料库（ARC），该数据集旨在评估AI系统的效率并将其性能与人类智能的性能进行比较。ARC是为AI和人类量身定制的一系列解决问题的任务。

ARC背后的关键思想之一是平衡人类和AI之间的竞争环境。它的设计使人类无法利用其丰富的世界背景知识来超越AI。例如，它不涉及与语言有关的问题，这是AI系统历来难以解决的问题。该系统不提供对大量培训数据的访问。如本文开头所示的示例，每个概念都带有一些示例。

AI开发人员必须构建一个可以处理各种概念的系统，例如对象凝聚力，对象持久性和对象影响力。AI系统还必须学习执行诸如缩放，绘制，连接点，旋转和平移之类的任务。

ARC数据集中的训练示例：红色对象必须与蓝色框相邻。

在此示例中，应试者必须对图像进行去噪，去除蓝点（或它们可能具有的任何其他颜色），并使主要对象保持完整。

同样，测试数据集（旨在评估已开发系统的智能的问题）的设计方式可以防止开发人员提前解决任务并在程序中对解决方案进行硬编码。优化评估集是数据科学和机器学习竞赛中一种流行的作弊方法。

根据Chollet的说法，“ ARC仅评估流体智能的一般形式，重点在于推理和抽象。”这意味着该测试支持“程序综合”，即AI的子领域，涉及生成满足高级规范的程序。这种方法与AI的当前趋势形成了鲜明对比，后者倾向于创建针对有限任务集（例如，玩单个游戏）而优化的程序。

在研究ARC的过程中，Chollet发现人类可以完全解决ARC测试。但是当前的AI系统在相同的任务上苦苦挣扎。据我们所知，由于ARC专注于广泛的泛化和少量学习，因此，似乎没有任何现有的机器学习技术（包括深度学习）可以接近ARC。

尽管ARC正在进行中，但它可以成为测试人类AI的进步水平的有希望的基准。“我们认为，人类级的ARC解算器的存在将代表仅从演示程序就可以对AI进行编程的能力（只需要少数演示程序来指定复杂的任务）就可以执行各种与人类相关的任务通常需要人类水平的，类似人类的流体智能。