▼最近直播超级多，预约保你有收获

今晚直播：《向量数据库应用案例实战》

—1—

Self Attention 自注意力机制剖析

一个 Prompt 给到大模型，需要经历以下过程：

Prompt 原始文本 -> Token（令牌化） -> Embedding（嵌入向量化）-> 大模型。

Embedding 是使用一系列数字对每个 Token（大致上是一个单词）进行有意义的高维表示。

这种 Embedding 嵌入是我们提供给大模型的输入。

大模型预训练的核心思想是理解语言内部的结构和模式。通过学习句子中单词（Token）之间的关系，大模型可以捕捉到文本的上下文和含义。

那么自注意力是一种沟通机制，帮助建立这些关系，以概率分数表示。

每个 Token 都给自己分配最高分，并根据其他 Tokens 的相关性分配额外分数。

你可以把它想象成一个有向图，如下：

要理解这些概率/注意力分数是如何获得的：我们必须理解3个关键术语：

- 查询向量（Query Vector）

- 键向量（Key Vector）

- 值向量（Value Vector）

这些向量是通过将输入嵌入乘以三个可训练的权重矩阵来创建的。

在获取键、查询和值之后，我们将它们合并以创建一组新的、有上下文感知的嵌入。

以下 PyTorch 实现自注意力机制，非常简单和直观。

—2—

新年领取《AI 大模型技术知识图谱》

最近很多同学在后台留言：“玄姐，AI 大模型技术的知识图谱有没？”、“AI 大模型技术有学习路线吗？”

我们倾心整理了 AI 大模型技术的知识图谱《最全 AI 大模型技术知识图谱》和学习路线《最佳 AI 大模型技术学习路线》快来领取吧！

AI 大模型技术体系的确是相对比较复杂的，如何构建一条清晰的学习路径对每一个 IT 同学都是非常重要的，我们梳理了下 AI 大模型的知识图谱，主要包括12项核心技能：大模型内核架构、大模型开发 API、开发框架、向量数据库、AI 编程、AI Agent、缓存、算力、RAG、大模型微调、大模型预训练、LLMOps 等12项核心技能。

为了帮助每一个程序员掌握以上12项核心技能，我们准备了一系列免费直播干货，扫码一键免费全部预约领取！

END

ITPub博客

人人都能听懂的自注意力机制技术原理

最新文章