AI科学家Francois Chollet提出了一个更好的框架来衡量AI系统的智能。
这是讨论Keras创造者Francois Chollet最近发表的一篇论文的文章的第二部分，该论文提出了一种评估人工智能（AI）系统智能的新方法。《论智能的测量》挑战了一些传统方法，这些方法将智能等同于执行原子任务的能力，并概述了一个使用定量和可比较方法定义智能的框架。在本文的第一部分中，我们讨论了Charles Darwin和Alan Turing开创的智能哲学定义，以及深度学习模型中经常被用作最明显智能衡量标准的泛化概念。今天，我们将重点关注Chollet提出的评估智能的框架及其核心基础。
首先，我们应该进入一个对大多数AI从业者来说陌生的心理学领域。
智能的心理测量学视角
心理测量学领域专注于研究人类技能和知识的发展。心理测量学的一个基本概念是，智力测试评估的是广泛的认知能力，而不是特定任务的技能。重要的是，能力是一种抽象构念（基于理论和统计现象），而不是个体心智的直接可测量的客观属性，例如特定测试的分数。AI中的广泛能力，同样是构念，与心理测量学中的认知能力面临完全相同的评估问题。心理测量学通过使用广泛的测试任务组合而非任何单一任务来量化能力，并通过概率模型分析测试结果。
心理测量学理论中的一些概念可以用来以更可量化的方式评估AI系统的智能能力。Chollet的论文概述了几个关键思想：
测量能力（代表广泛泛化和技能获取效率），而非技能。能力与技能的区别在于能力引发广泛泛化。
通过任务组合而非任何单一任务来评估能力，这些任务应该是测试系统和系统开发者之前都不知道的。
在信度、效度、标准化和无偏差方面有明确的标准。在此背景下，信度意味着给定系统的测试结果应该在不同时间和不同研究组之间可复现。效度指的是对给定测试目标建立清晰的理解。标准化意味着在研究界的子集中采用共享基准。最后，无偏差意味着测试不应以与被评估能力无关的方式对测试者群体产生偏见。
解决单个任务不是衡量智能的有效方法这一观点，被计算机科学先驱Allen Newell在1970年代用国际象棋的类比精彩地阐述了，国际象棋已成为AI的经典例子之一：
“我们已经从现有工作[关于人类的心理学研究]中知道，任务[国际象棋]涉及多种形式的推理和搜索以及复杂的感知和记忆过程。从更一般的考虑来看，我们知道它还涉及规划、评估、手段-目的分析和情境重新定义，以及多种学习方式——短期、事后分析、预备分析、从书本学习等。”
这段话告诉我们的是，国际象棋本身并不涉及特定的认知能力。然而，拥有这些一般能力使得解决国际象棋（以及更多问题）成为可能，通过从一般到具体，反过来，从具体到一般没有明确的路径。绝对精彩！
可量化的智能度量
借鉴心理测量学的一些思想，Chollet 得出了以下关于智能的定义：
系统的智能是在一系列任务上，相对于先验、经验和泛化难度而言，对其技能获取效率的度量。
这个智能定义包含了元学习先验、记忆和流体智能等概念。从 AI 的角度来看，如果我们取两个系统，它们从一组相似的先验知识出发，并且相对于一组事先未知的任务经历相似量的经验（例如练习时间），那么最终获得更高技能的系统就是具有更高智能的系统。另一种理解方式是，"更高智能"的系统使用相同的信息在未来的情境空间中"覆盖更多的范围"。
上述智能定义从理论角度来看非常出色，但如何将其纳入 AI 系统的架构中呢？
一个智能系统将是一个生成特定技能以与任务交互的 AI 程序。例如，一个用于游戏的神经网络生成和训练算法将是一个"智能系统"，而它在某个游戏上完成一次训练运行后最终输出的推理模式游戏专用网络将是一个"技能程序"。一个能够观察任务并输出解决方案程序的程序合成引擎将是一个"智能系统"，而由此产生的能够处理该任务未来输入网格的解决方案程序将是一个"技能程序"。
现在我们有了 AI 系统智能的规范定义，我们需要一种方法来度量它????
ARC
抽象与推理语料库（Abstraction and Reasoning Corpus，ARC）是 Chollet 提出的一个数据集，旨在作为前几节所定义的那种智能的基准。从概念上讲，ARC 可以被视为针对 AI 系统的心理测量测试，它试图评估一种定性形式的泛化能力，而非在特定任务上的有效性。
ARC 包含一个训练集和一个评估集。训练集包含 400 个任务，而评估集包含 600 个任务。评估集进一步分为公开评估集（400 个任务）和私有评估集（200 个任务）。所有任务都是唯一的，测试任务集和训练任务集是不相交的。给定一个特定任务，ARC 测试界面如下图所示。
ARC 的初始版本可在 GitHub 上获取。
我在上一篇文章开头说过，Chollet 的《On the Measure of Intelligence》可以被视为今年最重要的论文之一。论文中包含的一些思想或其变体可以影响 AI 系统的设计，使其能够达到可度量和可比较的智能水平。实现 Chollet 的范式并非易事，但其中一些思想绝对值得探索。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：KDnuggets
原文作者：https://www.facebook.com/kdnuggets；如有侵权，请联系管理员删除。
