前段时间，OpenAI宣布了他们的语言模型（LM）的新继承者GPT-3。
这是迄今为止训练的最大模型，有1750亿个参数。
虽然培训这个大模型有它的优点，但阅读72页的大部分内容可能会令人厌烦。
在这篇博文中，我将重点介绍我发现对熟悉LMs的人来说有趣的部分，他们只想知道（大部分）这项工作的要点。
语言模型是什么？
“该模型在零镜头设置下能够执行的任务的多样性表明，受过训练的高容量模型能够最大限度地利用各种文本语料库，从而开始学习如何在不需要明确监督的情况下执行数量惊人的任务。”
这是GPT-2随附论文的节选。GPT-3在这条道路上又迈出了一步。
更具体地说，作者指出了使用特定于任务的数据集进行微调的缺点。
- 获取这些数据集很困难。
- 微调允许模型利用虚假相关性，这会导致糟糕的分布外性能。
- 自然语言的简短指令通常足以让人类理解给定的任务。这种适应性是NLP系统所期望的特性。
作者选择的路径是“上下文学习”（in-context learning）——向模型提供一个任务说明（prompt）和/或任务的一些演示作为前缀，将其引导到与给定任务相关的潜在空间中的子空间。
这是基于这样一个假设：该模型在训练时发展出一套广泛的技能和模式识别能力，然后在推理时利用这些能力来快速适应或识别所需的任务。
人们普遍认为低复杂度与下游任务的性能相关，因此人们可以希望更大的模型能够产生更好的上下文能力。事实上，这一点是正确的，如下图所示，测试一个简单的任务，要求模型从单词中移除随机符号：
上下文示例的数量在10到100之间变化，因为模型的上下文大小为2048时通常允许这样做。当实例数较少时，提示（任务说明）起着重要作用。
作者测试了许多著名的基准测试，但是首先让我们检查一下模型规范。
重物吊装
GPT-3由类似于GPT-2的基于转换器的架构组成，包括其中描述的修改的初始化、预规范化和可逆标记化，除了它在转换器层中使用交替密集和局部带状稀疏注意模式，类似于稀疏变换器。
作者训练了几个模型大小，从1.25亿个参数到1.75亿个参数，以测量模型大小和基准性能之间的相关性。
给我看看你的数据，我就告诉你你的未来
作者采取了三个步骤来提高数据集的平均质量：
- 他们根据与一系列高质量参考语料库的相似性，下载并过滤了一个版本的CommonCrawl。
- 他们执行模糊重复数据消除，以防止冗余并保持保留的验证集的完整性。
- 他们在训练组合中加入了知名的高质量语料库。
在下一张图中，我们可以看到LMs的power-law仍然成立：
为了测试预先训练的验证损失是否与下游任务性能相关，作者通过在上下文中从训练集中输入K个示例来评估来自测试集的一个示例来评估一个已知NLP基准的详尽列表。
语言建模
由于训练数据中包含了大量与语言建模相关的复杂数据集，PTB由于早于现代互联网而避免了这一问题，GPT-3则设置了一个新的SOTA。
LAMBADA
在这个任务中，模型必须预测给定句子的最后一个单词。最近有人认为，LMs规模的持续扩大，在这一艰难的基准上，收益正在递减。然而，GPT-3在零炮设置下达到了76%的准确率，比之前的SOTA提高了8%。
在“少数镜头”设置中，任务可以被框架为完形填空任务（填空），使模型更容易理解只需要一个单词。这产生了86.4%的准确率。
闭卷答疑
在这项任务中，GPT-3优于SOTA，它不仅对任务进行微调，而且使用信息检索组件来检索可能包含答案的文本片段。LMs继续吸收知识的能力也在增加。
SuperGLUE
GPT-3在一些需要比较两个句子的任务中显得很弱，包括确定一个词在两个句子中的用法是否相同，一个句子是否是另一个句子的释义，或者一个句子是否暗示另一个句子。
新闻文章生成
作者要求人类评价者区分人类和机器生成的新闻文章。随着模型尺寸的增加，尽管每篇新闻文章的时间投入增加，参与者的准确度得分却较低。这支持了一个发现，即较大的模型生成更难区分的新闻文章。
学校里有很多的记忆
准确地检测来自互联网规模的数据集的测试污染是一个新的研究领域，没有既定的最佳实践。随着模型容量的增加，记忆的风险增加。大体上，作者删除了与测试集有重叠的文档。但是，由于一个bug，这个进程有剩余的。他们试图评估损失，但似乎模型无法记忆，（大部分）结果是有效的。
局限性
虽然GPT-3在质量上比它的前辈更好，但是它的文本合成能力仍然存在我们从其他LMs中所熟悉的弱点，例如重复、足够长的段落中的连贯性损失和矛盾。
此外，在一些任务中GPT-3失败得很惨。这可能是由于选择使用自回归LM，而不是合并双向信息（类似于Bert）。虽然自回归LMs的上下文学习更直接，但是双向模型在微调后更适合于下游任务。最后，在GPT-3的规模上训练一个双向的模型，或者尝试用少量的shot学习来实现双向模型的工作，是一个很有前途的研究方向。
一个更基本的限制是自回归（和双向）模型可能最终会遇到（或可能已经遇到）预训练目标的限制。更好地完成任务，例如，了解什么是最重要的预测（如实体），可能对模型有利。把模型建立在其他经验领域，比如视频或真实世界的物理交互，也可能会起到推动作用。
一个表明预训练任务不是最优的证据是样本效率：GPT-3在训练前看到的文本比人类在一生中看到的要多得多。提高训练前样本的效率是未来工作的一个重要方向，可能来自于在物理世界中提供额外信息的基础，或者来自算法改进。
此外，对于自我监督的目标，任务规范依赖于将期望的任务强制到一个预测问题中，而最终，有用的语言系统（例如虚拟助手）可能更好地被认为是采取目标导向的行动，而不仅仅是做出预测。
GPT-3中与少镜头学习相关的另一个局限性，或者至少是不确定性，是不确定的是，在推理时，少镜头学习是否真的“从头开始”学习新的任务，或者仅仅识别和识别在训练过程中学过的任务。
最后值得注意的一点是，模型的大小带来了实际的不便。蒸馏是一个有趣的方向，它还没有在这个规模上尝试过。
