BERT是深双向的，OpenAI GPT是单向的，ELMo是浅双向的。
但根据实际使用情况，将 seq2seq 模型⽤于⽂本⽣成也有一些实质性的缺陷，例如：⽣成输⼊⽂本不⽀持的输出（称为幻觉，hallucination）、需要⼤量的训练数据才能到达很好的效果；此外，seq2seq 模型通常需要逐字⽣成输出，因此其推断时间较长。
文本生成神经网络架构发展
# 文本生成神经网络架构发展 #
BERT是深双向的，OpenAI GPT是单向的，ELMo是浅双向的。
但根据实际使用情况，将 seq2seq 模型⽤于⽂本⽣成也有一些实质性的缺陷，例如：⽣成输⼊⽂本不⽀持的输出（称为幻觉，hallucination）、需要⼤量的训练数据才能到达很好的效果；此外，seq2seq 模型通常需要逐字⽣成输出，因此其推断时间较长。
2020-02-22 14:05:59
https://www.toutiao.com/a1659215868957700
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69946223/viewspace-2676828/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
