# GPT-n的演变 #
GPT通过将有监督的学习与无监督的预培训配对(或将无监督步骤的参数用作有监督步骤的起点),实现了语言任务的最新水平。 与后续产品相比,GPT很小。 它仅在几千本书和一台8 GPU机器上进行了培训。
GPT-2极大地扩展了内容,包含10倍的参数,并提供了10倍以上的训练数据。 尽管如此,该数据集还是相对有限的,并且专门针对"来自Reddit的出站链接进行了至少3业力"的训练。 GPT-2被描述为"类似变色龙"的合成文本生成器,但在诸如回答问题,总结或翻译之类的下游任务中并不是最先进的。
GPT-3是AI世界中最新,最强大的工具,它在一系列任务中达到了最先进的水平。 它的主要突破是消除了针对特定任务的微调的需要。 在规模方面,该模型再次大幅扩展,达到了1,750亿个参数,是其前身规模的116倍。
尽管完全不需要训练GPT-3(零镜头学习的一个例子),但单次学习或几次镜头学习都已经使GPT-3令人印象深刻的表现黯然失色。
