大型语言模型 (LLMs) 是现代人工智能 (AI) 时代的革命性突破。与之前只有数百万个参数的小语言模型不同，LLMs往往拥有数千亿甚至数万亿个参数。他们在解决复杂任务方面表现出了非凡的能力，例如通过文本生成进行语义推理和创造性写作。GPT-2 XL 是最早拥有 15 亿个参数的 LLMs 之一，率先展示了这些功能 。它的后继者 GPT-3 展示了更强大的能力，拥有 1750 亿个参数 。迄今为止，LLMs 最值得注意的应用是 OpenAI 的 ChatGPT ，该工具允许用户以对话方式与 AI 代理交互，以解决从语言翻译到软件工程的各种任务。
KV缓存
LLMs的关键能力是自注意力机制，能够捕捉上下文信息，但会导致二次计算复杂度，严重影响性能和可扩展性。可以使用KV缓存(缓存中间键值张量)可以将复杂度降低到线性，大幅加速推理，但会显著增加内存需求，尤其在资源受限系统(如单GPU)中容易出现内存不足问题。
(a) 顶部：自回归 LLM 推理的示例。EOS 指的是句子结尾。底部：Transformer层中的操作块。
(b) KV 缓存：Q、 K、 V 表示查询、键和值张量。在预填充阶段，同时处理所有输入标记，并存储生成的中间 KV 张量，并用深色标记。s 和 d表示输入序列长度和KV张量的隐藏维度大小。在解码阶段，检索存储的深色 KV 张量。输入 Q、 K、 V 张量由浅色标记。输入 Q 张量与输入K 和存储的 K张量的串联相乘，然后是整个注意力权重的 softmax。注意力权重进一步乘以输入V 和存储的 V张量的串联，以生成新结果。然后，存储输入的 K和 V张量。每个Token都会重复此过程。
(c) 使用和不使用 KV 缓存的 OPT-6.7B 推理的执行时间和 GPU 内存使用情况。
深度神经网络 vs. 稀疏神经网络
但是我们也发现LLMs注意力权重高度稀疏，可以通过稀疏窗口注意机制有选择性地缓存重要标记，并采用动态调度策略在缓存和重计算之间权衡，在资源受限系统中显著提升推理性能。
• 深度神经网络（Deep Neural Network）：展示了典型的全连接网络，其中每个神经元都与下一层的所有神经元相连接。这种结构使得网络可以捕捉到复杂的特征，但同时计算量和参数量较大。
• 稀疏神经网络（Sparse Neural Network）：展示了一种稀疏连接的网络，其中每个神经元只与下一层的部分神经元相连接。这种结构减少了计算量和参数量，旨在提高计算效率和模型压缩。
注意力权重稀疏性
我们使用 Wiki-Text-2 数据集 在 OPT 模型推理过程中在不同步骤和层中观察到的注意力权重稀疏性变化。
• OPT 是 Open Pre-trained Transformer 的缩写，由 Meta（原 Facebook）AI 开发。OPT 系列模型是开源的预训练变换器模型，类似于 OpenAI 的 GPT 系列。它们被设计用于自然语言处理任务，例如文本生成、文本理解和对话系统。
• 稀疏性（Sparsity）：指的是在注意力权重矩阵中有多少百分比的元素接近零（具体定义为小于矩阵中行最大值的1%）。高稀疏性意味着大部分权重是零，这表明网络在计算注意力时实际上只关注了少数几个重要特征。
• 测试参考自《ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching》[1]
注意力权重稀疏性变化图
这组图表展示了OPT模型（6.7B、13B、30B）在不同训练步数和不同层级上的注意力权重稀疏性变化：
• 左图（Step Index）：展示了随着训练步数增加，注意力权重稀疏性的变化。可以看到，随着训练步数的增加，注意力权重稀疏性逐渐提高。这表明随着训练的进行，模型越来越倾向于稀疏化其注意力权重，即逐渐减少不重要的连接。
• 右图（Layer Index）：展示了不同层级上的注意力权重稀疏性。不同层级的注意力权重稀疏性也展示了一定的模式。总体来说，稀疏性在较深层级（高层）的模型中更高，这表明深层模型在计算时更多地依赖于少数重要的特征。
我们有两个关键观察结果。首先，LLMs中的注意力权重高度稀疏，例如，在不同的推理步骤中，稀疏度可以在80％到95％之间变化，并且在某些层中达到接近99％。其次，较大的 LLMs 表现出较高的稀疏性，例如，OPT-30B 的密度（即 1−sparsity ）大约小于 OPT-6.7B 的 3× 。这些观察结果表明，从计算角度来看，注意力权重矩阵中很少有元素有助于计算最终注意力分数并在 LLMs 中生成新标记。这给我们了优化大模型参数的方案，通过在 LLM 推理中跳过不重要的标记来创建稀疏 KV 张量。
总结
人类大脑的功耗只有约20瓦，这与大规模神经网络相比显得微不足道。但是人脑能有大模型不可比拟的智能。说明大模型参数量和计算量是“虚胖”的。
通过训练使模型更稀疏化可以有效地压缩模型，从而提高计算效率。一种方法是更好的训练，使模型自然稀疏化；另一种方法是通过结构优化或剪枝等技术手段强制稀疏化模型，从而减少计算量和参数量。
引用链接
[1] 《ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching》: https://arxiv.org/html/2403.17312v1
原文作者：云原生AI百宝箱；如有侵权，请联系管理员删除。
