一 Transformer

熟悉NLP的同学肯定知道近两年非常火的结构Transformer，基于该结构的预训练模型也是刷爆各大数据集，如BERT、GPT等模型。但是由于最早介绍Transformer的论文《Attention is all your need》一文对于transformer的细节描述非常有限，导致很多同学理解起来非常抽象，而且网上基本上没有特别好的教程，都是一些枯燥的讲解，但是不要担心，Jay Alammar博主为你带来了可视化讲解，不得不爱！我们看看他的图文

整体架构图如下：

是不是特别的舒适可观，更细节的可以看如下链接：
http://jalammar.github.io/illustrated-transformer/不止transformer，还有BERT:

不止BERT，还有GPT:

不止GPT，还有好多其它的内容，只要我们知识点没有理解的，他写了，恭喜你赚大了！赶紧通过他的主页学起来吧！
http://jalammar.github.io/

博主地址：
http://jalammar.github.io/