ITPub博客

首页 > 人工智能 > 自然语言 > GPT-n的演变

GPT-n的演变

自然语言 作者:AIBigbull2050 时间:2020-07-28 10:59:55 0 删除 编辑


# GPT-n的演变 #




GPT通过将有监督的学习与无监督的预培训配对(或将无监督步骤的参数用作有监督步骤的起点),实现了语言任务的最新水平。 与后续产品相比,GPT很小。 它仅在几千本书和一台8 GPU机器上进行了培训。

GPT-2极大地扩展了内容,包含10倍的参数,并提供了10倍以上的训练数据。 尽管如此,该数据集还是相对有限的,并且专门针对"来自Reddit的出站链接进行了至少3业力"的训练。 GPT-2被描述为"类似变色龙"的合成文本生成器,但在诸如回答问题,总结或翻译之类的下游任务中并不是最先进的。

GPT-3是AI世界中最新,最强大的工具,它在一系列任务中达到了最先进的水平。 它的主要突破是消除了针对特定任务的微调的需要。 在规模方面,该模型再次大幅扩展,达到了1,750亿个参数,是其前身规模的116倍。

尽管完全不需要训练GPT-3(零镜头学习的一个例子),但单次学习或几次镜头学习都已经使GPT-3令人印象深刻的表现黯然失色。









来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69946223/viewspace-2707219/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
爱好旅游和摄影的资深IT大虾

注册时间:2019-08-22

  • 博文量
    1589
  • 访问量
    876061