今天，百度 ERNIE 再升级，发布持续学习语义理解框架 ERNIE 2.0，同时借助飞桨高效分布式训练优势发布了基于此框架的 ERNIE 2.0 预训练模型。该模型在共计 16 个中英文任务上超越了 BERT 和 XLNet，取得了 SOTA 效果。
ERNIE 2.0 新一代升级
之前机器之心就曾介绍过百度开源的 ERNIE 1.0，今天百度也开源了 ERNIE 2.0 的 Fine-tuning 代码和英文预训练模型。那么相比 1.0，ERNIE 2.0 的升级包括哪些方面呢？
ERNIE 2.0 开源地址：https://github.com/PaddlePaddle/ERNIE
ERNIE 2.0 是什么
如前所述，文本中还有很多非常有价值的信息，为此百度提出持续学习语义理解框架 ERNIE 2.0。该框架支持增量引入不同角度的自定义预训练任务，以捕捉语料中词法、语法、语义等信息。这些任务通过多任务学习对模型进行训练更新，每当引入新任务时，该框架可在学习该任务的同时，不遗忘之前学到过的信息。
ERNIE 2.0 论文地址：https://arxiv.org/pdf/1907.12412v1.pdf
ERNIE 2.0 效果怎么样
百度研究者分别比较了 ERNIE 2.0 和当前最优预训练模型在中英文任务上的性能。英文任务中，ERNIE 2.0 在自然语言理解数据集 GLUE 的 7 个任务上击败了 BERT 和 XLNet。中文上，ERNIE 2.0 在阅读理解、情感分析、问答等不同类型的 9 个数据集上超越了 BERT，并刷新了 SOTA。
（机器之心）
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69918097/viewspace-3118925/ ，如需转载，请注明出处，否则将追究法律责任。
