【重磅炸裂】Google于4月10日再一次发表论文：《Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention》，重塑了Transformer架构（最早的Transformer架构也是由Google于2017年推出的论文《Attention Is All You Need》所提出，正是因为这篇论文的出现，才有了我们如今的AI大模型时代）。而这次论文的主题，从名称上就可以看出来：Infinite（无限）Transformer ， 旨在解决大型语言模型（LLM）在处理无限长输入时的内存和计算需求问题。

背景

现在的LLM的痛点之一，就是上下文长度的问题。随着LLM处理的任务越来越复杂，他们需要能理解和处理更长的上下文，如果要缩短推理过程的时间，往往需要很高的内存成本。在这时，LLM在长度泛化失败的问题就显得更加突出，现在大模型往往采取的方案是将序列截断到固定长度，使用相对位置编码来解决这个问题，即使采取了这种策略，但是在更长的上下文之后，仍然难以生成流畅的文本。

举个例子：对于一个batch_size（批量大小）是512，context_length（上下文长度）是2048的一个500B参数量级的模型，注意力KV的内存占用约3TB。所以对于标准的Transformer架构而言，要想支持更长的上下文，需要的内存成本将会更高。

虽然现在也出现了更具拓展性的内存压缩技术，但现在还不存在一种有效的、实用的内存压缩技术，可以在简单性和质量之间取得平衡。而Google Infini-attention的出现打破了这一平衡。

Infini-attention

Infini-attention机制的核心在于它能够同时计算局部和全局上下文状态，并将这些状态组合起来作为输出。此外，Infini-Transformer还采用了连续长时记忆（continuous long-term memory）的概念，进一步扩展了Transformer模型的能力，使其能够处理任意长度的上下文而不依赖于上下文长度。

而在实际应用中，Infini-Transformer已经在多个数据集上进行了测试，包括PG19和Arxiv-math等，结果显示其性能超越了所有对手，并实现了高达114倍的内存压缩比。这表明Infini-Transformer不仅能够有效处理无限长的输入，而且在保持高性能的同时显著降低了内存需求。

而论文的详细内容和原理，在此就不花时间深入讲解了，研究过Transformer架构的同学可以去了解一下。

---------------

上面说了那么多，或许有些难懂，最后总结一下：Infini-Transformer的核心，在于引入了一个新的方法，可以让基于Transformer架构的LLM，处理无限的输入文本，但是不增加额外的内存和计算需求。在有限的内存条件下，更高效处理无限长的输入序列。