大家好，我是雨飞。今天和大家简单科普下，大模型的知识存储在哪里呢？
01
从 Transformer 开始看起
LLM 里面核心的结构就是 transformer，从下图的示意图来说，transformer 的组成部分主要就是 MHA 和 FFN。
我们可以看见 MHA 和 FFN 是构成整个模型参数的主要部分，其中 MHA 大概占了1/3，FFN 大概占了 2/3。
02
MHA 和 FFN 的作用
由于，MHA 核心是注意力机制，也就是计算输入数据和知识的相关性，而且由于在实际使用中 Q、K、V 实际都是用户输入数据的映射，那么大概率 MHA 的作用是建立和知识之间的联系，不会存储具体的知识。
因此，我们大致可以得出结论，在 FFN 中的参数包含了大模型所需要的语言学和世界知识。从论文中我们得知，这个 FFN 实际也可以等价成两层卷积核为 1 的卷积操作，本质就是先升维，然后非线性激活再降维的过程。
联想到 CNN 的抽取特征的作用，那么大量的底层知识就应该存储在 FFN 的第一层，可能是简单的语法知识。而第二层做了压缩，大概率存储了很多高级的语义信息。
03
论文原文
可以去阅读下面这篇论文「Transformer Feed-Forward Layers Are Key-Value Memories」；
https://arxiv.org/pdf/2012.14913.pdf
好啦，正文结束，感谢阅读。
我的陪伴群，目前 39.9 一位，还差 1人，涨价10 元，感兴趣可以联系。
下面是陪伴群的详细介绍
永久免费星球『算法·成长·一人企业』，在这里我会高频输出和算法，个人成长，副业相关的知识以及资源分享。希望，对你有帮助。
END
你的每一个『点赞』，都是鼓励我进步的勇气，点个『在看』，加油吧，一起成长！
原文作者：雨飞AI笔记；如有侵权，请联系管理员删除。
