当 AI 开始参与数据处理、模型训练、Agent 开发和自动实验之后，什么样的系统才能被称为 Recursive Self-Improvement（RSI，递归式自我改进）？AI 又会沿着怎样的路线，逐渐接管“改进自己”这件事？

「The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement」这篇论文是围绕 RSI 展开的综述。作者整理了学术研究和产业实践，并提出了一套以“ AI 在改进过程中能够自主决定多少”为核心的分级框架：从 L1 的改进执行，到 L2 的改进策略、L3 的经验获取、L4 的环境适应，再到 L5 对改进机制本身的递归修改。

相比论文标题所描述的遥远终点“The Last AI Built by Humans”，这套 L1～L5 的 RSI 路线，才是整篇论文最主要的内容。

从模型能力增长到持续改进

论文首先从当前模型能力的发展差异讲起。

作者收集了 2023 年至 2026 年 9 月之间的 393 个 model-benchmark observations，覆盖数学、科学、软件工程、Tool Agent、Search / Terminal Agent 等 10 个能力领域，并提出 Headroom-Closed Index（HCI），用来描述一个领域相对于最初的能力前沿，缩小了多少距离。HCI 为 0，表示该 Benchmark 刚进入统计时的前沿水平；HCI 为 100，则代表满分。

按照论文统计，到 2026 年，在不同类型的 AI 能力测试中，高级数学和研究生水平科学任务的 HCI 分别达到 86.4 和 85.8，通识达到 77.2；软件工程为 52.6，搜索 / 终端 Agent 为 56.8，工具调用 Agent 则只有 39.9。

图注：不同能力领域的 HCI 变化。

论文统计了 2023 年至 2026 年 9 月不同能力领域的模型表现。HCI 将每个 Benchmark 首次进入统计时的前沿水平设为 0，满分设为 100，用来观察此后模型填补了多少剩余空间。右侧 2026 年之后的虚线区域，是作者对 RSI 可能带来持续适应能力的示意，并非实际观测结果。

从这组数据中，作者观察到不同能力领域之间的进展差异：数学、科学等相对封闭、验证路径清晰的任务已经取得较大进展，而软件工程、工具使用、长流程搜索等任务仍保留更多的提升空间。这些有待提升的任务还有一个共同特点：系统需要在较长的执行过程中持续与环境交互。

Agent 可能需要制定计划、选择工具、读取结果、维护环境状态，再根据执行反馈来调整后续动作。整个过程中也会不断产生新的经验，例如测试失败、工具报错、环境反馈和用户修正。如果这些经验只作用于当前任务，任务结束后便不会继续影响系统状态，那么下一次遇到类似问题时，系统仍需要重新处理。

论文由此进一步提出一个问题： AI 能否把这些经验转化成可以持续保留的变化，并让上一轮的变化继续影响下一轮如何改进？

这也进入了 RSI 的定义。

递归式自我改进

论文从完整的改进循环出发来定义 RSI， 关注系统如何产生修改、验证修改，并将有效变化保留到后续迭代中。

一个完整的改进循环大致包括：经验产生 → 确定修改对象 → 生成候选修改 → 验证 → 接受修改 → 保存到系统状态 → 从新的状态进入下一轮。为了描述这一过程，论文进一步定义了系统状态、经验、改进对象、改进器、改进策略、验证器、改进结果和后继系统等组成部分。

在这套框架中，持久化和继承构成了一条重要分界。比如，一个 Coding Agent 修改代码后运行测试，发现失败，再根据错误信息继续调整代码。虽然当前任务中的输出不断变化，但如果这些变化没有进入 Agent 的长期状态，任务结束后也不会影响下一轮运行，论文就把这种情况归为 B0：任务内 AI 改进。B0 可以反思、重试和修正当前结果，但这些改进仍然停留在当前任务内部。

RSI 的要求进一步增加：系统需要把交互中获得的经验和反馈转化成可以长期保留的自身变化，例如模型参数、Agent Harness、记忆、技能或改进策略，并让这些变化继续影响后续改进的生成、评估和保留。

因此，一次基准测试成绩提升并不能单独证明系统具备 RSI。系统中什么发生了变化，这些变化是否被继承到下一轮，以及上一轮的变化是否继续影响下一轮的改进过程，这才是我们应该关注的重点。

基于这些条件，作者进一步提出了从 L1 到 L5 的五级路线。

图注：RSI 的五级自主路线。灰色虚线框表示仍由人类或外部系统控制的部分，绿色虚线框表示进入 Agent 改进循环的部分，橙色边框代表当前等级新纳入 AI 控制的环节。从 L1 到 L5，AI 承担的改进责任逐渐扩大。

论文划分等级时，核心衡量的是 AI 在改进过程中接管了多少决策环节。随着等级提高，原本由人类或固定流程控制的部分，会逐步进入 AI 自主决定的范围。

这也是理解 L1～L5 的主线。

L1：改进执行自主

这一阶段中，人类负责决定改什么、如何改，以及什么结果可以被接受，AI 则按照既定流程执行具体的改进工作。

以数据处理为例，研究人员可以先定义高质量数据的标准，再让模型按照这些标准对大规模数据进行分类和过滤。论文列出的 FineWeb-Edu 就属于这一类：数据质量标准由研究人员设定，模型负责将这些标准应用到更大规模的网页语料中。

L1 自动化的重点在 改进的执行环节。类似模式也可以出现在训练、评估和部署流程中，由人类确定操作方法和验收规则，再由 AI 完成大规模、重复性的执行工作。

因此，在 L1 中，改进过程的核心决策仍然由系统外部控制。AI 可以执行已经确定的改进方案，但还不会自主判断下一轮应该采用什么改进策略。

L2：改进策略自主

到了这一层，任务目标、边界和评价标准仍然由外部设定，但 AI 开始自己诊断问题，并决定下一步应该怎样修改。

例如，一个 Agent 连续在某类任务上失败，它可以分析执行轨迹，判断问题出在提示词、工具描述、技能还是 Harness，再提出候选修改并进行测试。此时，改进循环也从 L1 的“按照指定方法执行修改”，扩展为：

观察结果 → 诊断问题 → 选择改进策略 → 执行修改 → 验证结果 → 保留或回滚。

论文列出的 Self-Harness 就会根据执行轨迹提出 Agent Harness 的修改方案，再通过固定的基准测试和晋级规则判断新版本是否值得保留。这一阶段也包含大量提示词优化、工作流搜索和 Agent 设计工作，例如 ADAS 会将 Agent 表示成可执行程序，由 Meta-Agent 生成不同候选方案并进行评测；AFlow 则通过搜索不断调整工作流结构。

这些系统的共同点是： AI 开始参与“怎么改”这一层决策。 不过，任务目标、评价规则以及允许修改的范围仍然由系统外部确定。

L3：经验获取自主

当 AI 可以自己决定“怎么改”之后，下一步就是进一步决定： 下一轮应该从什么经验中学习。

这进入了 L3，也就是 经验获取自主。在固定训练数据中，一部分任务可能已经掌握，继续训练很难提供新的学习信号；另一部分任务又可能远超当前能力，同样难以形成有效反馈。L3 开始让系统根据自身状态，主动决定接下来需要获得什么样的经验。

比如，系统可以根据当前失败生成新的训练任务，针对薄弱能力安排下一阶段练习，或者主动探索环境，寻找能够暴露自身能力边界的新任务。论文提到，SIMA 2 会根据当前行为评估生成后续练习任务，把新的训练经验集中到已经暴露出的薄弱能力上。

这一阶段的改进循环可以概括为：

当前能力 → 发现薄弱点 → 生成或选择新经验 → 学习 → 能力变化 → 再决定下一轮经验。

因此，从 L2 到 L3，AI 接管的范围从“如何改进”进一步扩展到了 接下来学什么。它不仅决定如何解决已有问题，也开始影响之后会遇到什么问题、获得什么训练经验。

这也带来了新的风险。如果系统对“什么经验有价值”的判断出现偏差，就可能持续生成过于简单、分布狭窄，或者能够利用奖励规则的任务；这些错误经验一旦进一步进入模型参数、记忆或技能，还可能继续影响后续的经验选择。

L4：环境适应自主

L3 主要关注系统如何主动获得下一批学习经验，到了 L4，改进循环开始进入持续运行的真实环境。这一阶段可以概括为 环境适应自主。

Agent 在运行过程中会不断遇到新的用户需求、工具变化、任务失败和环境反馈。系统可以从这些交互中提取经验，再将其转化成能够长期保留的记忆、技能、规则、工具或 Harness 更新。整个过程可以概括为：

真实任务 → 产生反馈 → 提取可复用经验 → 修改 Agent 状态 → 验证 → 保存 → 在后续任务中继续使用。

论文列出的 PANDO 就会根据长期交互产生的结果，对可复用规则进行新增、调整或降级，让后续行为能够继承前面任务中积累的经验。其他工作也在探索类似方向，例如从成功和失败轨迹中提取技能，把自然语言计划转化成可以执行的工具，或者根据批量任务中的失败持续修改 Agent Harness。

到了这一阶段，Agent 开始形成连续的版本演进关系：V1 在环境中运行并积累经验，经过验证的修改进入系统状态后形成 V2，V2 再继续参与新的环境交互，并产生下一轮反馈。

不过，经验被保存下来，并不代表着能力一定会提升。技能可能已经写入库中，却无法在合适的任务里被检索；记忆持续增加，也可能让检索的质量下降；过去有效的规则还可能随着模型、工具和任务环境变化逐渐失效。

因此，L4 还需要处理持久状态的筛选、验证、更新和淘汰，让进入系统的经验能够在后续任务中持续发挥作用。

L5：递归元改进

前四级中，AI 逐步接管了改进执行、策略选择、经验获取和环境适应，但负责 产生这些改进的机制本身仍可能保持固定。到了 L5，这套改进机制也开始进入可修改范围，论文将这一阶段概括为 递归元改进。

以 Coding Agent 为例，它可以根据失败轨迹生成新的调试技能，经过测试后保存下来，并在后续任务中继续调用，这类持续适应可以进入 L4。

如果系统进一步发现，当前“分析失败 → 生成技能 → 验证技能”的流程效果有限，并开始修改这套流程，再让修改后的机制负责下一轮技能的生成和验证，那么改进就进入了 L5。

此时，被调整的对象进一步扩展到 改进器、验证器、候选方案选择、后继系统生成流程以及研究控制策略等环节。AI 开始处理的不只是“系统应该怎样改”，还包括“以后应该怎样产生和筛选新的改进”。

图注：从 L4 环境适应到 L5 递归元改进。

上图把 L4 和 L5 的区别画得非常清楚：

L4 和 L5 的核心差别，在于 改进机制本身是否进入修改范围。L4 中，Agent 会持续变化，但负责产生这些变化的改进流程仍然保持固定；到了 L5，改进流程本身也成为修改对象，并由后继系统继续继承和使用。

于是，递归关系进一步形成：

系统产生修改 → 修改系统 → 分析改进过程 → 修改改进机制 → 用新的机制产生下一代系统。

论文进一步区分了两种递归： 结构递归和 有效递归。

结构递归关注的是闭环是否真正形成，也就是修改后的改进机制能否被持久保存，并继续参与下一轮改进。有效递归的要求更高：在相近的资源预算和独立评估下，新的改进机制还需要持续生成或筛选出更强的后继系统。

因此，系统能够修改自己的代码，并不能单独证明它已经实现有效的递归式自我改进。还需要继续观察两点： 它是否真正修改了“产生下一次改进的方法”，以及新的方法是否确实让后续改进变得更有效。

不同领域的 RSI

在提出五级路线之后，论文又进一步讨论了 RSI 在不同应用场景中的进展，重点分析了科学研究、具身智能、软件工程和医疗四个领域。

这些场景之间的主要差异，在于系统能够从一次修改中获得什么样的反馈，以及这些反馈是否足够可靠，能够支撑修改被验证、保留，并继续传递到后续系统中。

图注：不同领域目前所处的 RSI 阶段。论文认为，科学研究目前集中在较强的 L2 和早期 L3；具身智能主要位于 L2～L3，并出现模拟环境中的 L4；医疗以成熟 L2 为主；软件工程则出现成熟 L2、逐渐发展的 L3，以及受限条件下的 Structural L5。不同领域共同面对的问题，是如何获得足以支撑持久继承的可靠证据。

软件工程是其中比较特殊的场景。代码可以编译，测试可以反复运行，基准测试也能重复执行，失败的修改还可以通过版本控制回滚，因此一次改进更容易获得清晰、可重复的验证信号。

Coding Agent 也可以形成相对完整的改进循环：

修改代码 → 运行测试 → 分析失败 → 调整 Agent、技能或 Harness → 回归测试 → 保留修改 → 进入下一批任务。

基于这些特点，论文认为软件工程目前已经达到成熟的 L2，开始出现早期 L3，并在受限条件下出现了结构递归层面的 L5。

其他领域的反馈条件则更加复杂。具身智能需要与物理环境交互，实验成本更高，一次失败还可能带来无法回滚的物理后果；科学研究中的实验失败，也很难快速判断问题究竟来自假设、实验方案、仪器还是分析方法；医疗场景还需要面对患者差异、安全边界和专业审核，一次更新在某个环境中有效，也不能据此判断它能够安全迁移到其他环境。

因此，论文在这一部分反复强调的是： 系统需要获得足够可靠的证据，才能让一次改进被持续保留并 继承 下去。

系统能够产生多少修改，只是 RSI 的一部分；这些修改能否经过可靠验证，再安全进入后续系统，同样决定了自我改进能够走多远。

RSI 的局限性

随着自主等级提高，RSI 面临的问题也逐渐从“能否产生修改”转向“这些修改是否值得相信和继承”。

首先是 故障诊断。一次任务失败，原因可能来自数据、上下文、模型、工具接口、Harness 或评估器。如果系统没有判断清楚问题出在哪里，后续自动改进就可能持续修改错误的对象。

其次是 长期状态管理。随着新的记忆、技能、规则和代码更新不断进入系统，需要持续记录这些变化从哪里产生、解决过什么问题、适用于哪些场景，以及后续版本是否还应该继续继承。否则，早期有效的经验也可能随着系统和环境变化逐渐失效。

到了 L5， 验证机制本身也可能进入修改范围，问题会进一步复杂。如果验证器或评估器发生变化，那么评估结果提高可能来自系统能力提升，也可能来自评价标准变化，甚至是系统学会利用当前评估机制的漏洞。

因此，论文将递归 是否真正发生和 系统性能是否提升分开判断。更高的基准测试分数只能说明结果发生了变化；要证明 RSI，还需要确认改进机制确实被修改、继承，并继续参与后续的改进循环。

长期评测也不能只看某一个版本的最终成绩，而要观察完整的迭代轨迹，包括哪些修改被接受或回滚、旧能力是否退化、多轮迭代后能否持续提升，以及整个过程消耗了多少计算资源、实验和人工审核。对于更高等级的 RSI，还需要进一步判断： 新的改进机制是否真的比旧机制更有能力产生更好的后继系统。

这些问题最终决定了 RSI 能否从一次有效的自我修改，发展成可以持续运行的改进循环。

从自我改进到递归式自我改进

回到整篇论文，L1～L5 描述的是一条逐步扩大 AI 改进自主范围的路线：从执行既定改进，到选择改进策略、决定下一阶段需要获得什么经验、根据环境反馈持续调整，再到修改“如何产生下一次改进”的机制本身。真正进入递归，也发生在最后一步。

从现有研究来看，L1 和 L2 已经有较多实践，L3 和 L4 开始进入具体场景，L5 仍主要处于早期探索阶段。论文最终把“AI 自我改进”拆成了五个层级。随着等级提高，越来越多原本需要由人类或固定流程决定的事情，会逐步交给 AI 自己判断和完成。

ITPub博客

从自我改进到递归进化：RSI 的五级路线