RSI：Recursive Self-Improvement 分类图谱

[!info] TL;DR 核心思想：RSI（Recursive Self-Improvement）= 让 LLM / Agent 不仅完成任务，还能利用自己产生的经验、数据、反馈甚至代码，迭代地改进自己。近义词极多（self-evolve / self-play / self-refine / self-reward / self-distill），但闭环程度和”被改进的东西”各不相同。 最大收获：所有工作都沿同一条主线推进——逐步把人移出 improvement loop。Test-Time 侧，改进对象从 output → weights → Agent 本身（persistence 递增）；Training-Time 侧，从自造 supervision（zero-label）→ 自造 curriculum（zero-data）→ 自造改进策略（auto research）。 为什么重要：闭环每扩展一层，最终都撞上同一个问题——verification 是否可靠。现状是绝大部分 self-evolving 工作仍停留在 human-on-the-loop，真正的 closed loop 远未实现。

笔记地图

• §0 目标与全景
• §1 Test-Time RSI：三级递进
• §2 Training-Time RSI：zero-label / zero-data / auto research
• §3 Verifier：真正的瓶颈
• 我的批注（待补充）

§0 目标：把人移出 improvement loop

阶段	人的角色
human-in-the-loop	AI 提出改进，但每次修改需人确认
human-on-the-loop	data / reward / verifier 已自动产生，人监督结果、控制部署
closed loop	系统自己产生、验证并应用改进，无需人工审核

按”自我改进发生的阶段”，现有方法分两大类：

flowchart TB
    subgraph TT["Test-Time RSI：改进发生在部署过程中"]
        direction LR
        A["Self-refine<br>改当前 output"] --> B["TTT / TTRL<br>改 weights"] --> C["Harness Evolution<br>改 Agent 本身"]
    end

    subgraph TR["Training-Time RSI：改进写进下一轮训练"]
        direction LR
        D["zero-label<br>自造 supervision"] --> E["zero-data<br>自造 curriculum"] --> F["auto research<br>自造改进策略"]
    end

    C ==>|"persistence 递增"| D
    TT --> G["共同闸门：Verifier<br>这次更新真的更好吗？"]
    TR --> G
    G -.->|"未解"| H["grounding 与 policy-verifier co-drift"]

§1 Test-Time RSI：persistence 的三级递进

严格说是 Deployment-Time RSI：self-improvement 直接发生在部署过程中，而非等下一轮 offline training。各方法的真正差别在于改进能保留多久；同时人从每一步的 critique / revision 参与者，退到对整个 loop 的监督者。

层级	改进对象	改进保留多久	代表
① Self-critique & Self-refine	当前 output	episode 结束即消失	Generate → Critique → Refine
② Test-Time Training（TTT）	weights	当前 query 内持续	TTRL、ETTRL
③ Harness Evolution	Prompt / Tool / Memory / Skill / Workflow / Agent Code	跨 task 长期沉淀	Darwin Gödel Machine、SkillMaster

① Self-critique & Self-refine —— 改当前 output

权重冻结，针对当前 query 反复”生成 → 检查 → 修改”。关键在 verification signal：单靠模型自我 critique 并不稳定，有效做法通常引入 execution feedback、retrieval、solver 或 judge 来提供 grounding。但 refine 得再好，经验也随 episode 结束消失——提升的是单次回答，不是长期能力。

② Test-Time Training —— 改进写入 weights

TTT 不只改 output，而是直接更新参数，让当前 query 的 experience 有机会写进 weights：

Experience → Update → Better Model → New Experience

这一范式可与不同后训练算法结合，热门的一类即 Test-Time RL（TTRL），vault 内已有细读：[[TTRL：Test-Time Reinforcement Learning|TTRL]]（majority voting 伪标签 + GRPO）及其改进 [[ETTRL：BALANCING EXPLORATION AND EXPLOITATION IN LLM TEST-TIME REINFORCEMENT LEARNING VIA ENTROPY MECHANISM|ETTRL]]。

③ Harness Evolution —— 改 Agent 本身

优化对象从 output / weights 扩展到整个 Harness：Prompt、Tool、Memory、Skill、Workflow，甚至 Agent Code。

• 从真实 interaction 与失败 trajectory 积累经验：Computer-use Agent 从 failure 生成 training experience；Experience Graph 长期保存 branch / execution / failure / repair。
• SkillMaster、SkillSmith、Socratic-SWE：让 Agent 自动生成、修改、组合自己的 skills 和 tools（prompt 层的对应工作是 [[GEPA：REFLECTIVE PROMPT EVOLUTION CAN OUTPERFORM REINFORCEMENT LEARNING|GEPA]]）。
• 更激进的 Gödel Agent、Darwin Gödel Machine：直接 self-modify Agent code，搜索并保留更好的自身实现。

这里真正重要的变化是 accumulation：一次 response refinement 会消失，一次 test-time update 保留一段时间，而新的 memory / skill / tool / workflow 可跨 task 持续存在，成为下一轮 evolution 的基础。vault 内对应：[[ReasoningBank：Scaling Agent Self-Evolving with Reasoning Memor|ReasoningBank]]、[[AGENT WORKFLOW MEMORY]]、[[RAGEN：Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning|RAGEN]]。

本文 §1 主线：改进从当前 output，逐渐进入 weights，最后沉淀到 Agent 本身。

§2 Training-Time RSI：自己产生 learning signal

核心变化：系统自己产生 learning signal 并送回 training loop，improvement 通过参数更新跨 iteration 持续积累，直接进入下一轮 model。人从直接提供 label / reward，退到设计 training rule、监督整个 loop。

（1）zero-label：人出题，模型自造 supervision

Problem 仍由外部提供，但 supervision 由模型自己产生。三条路线：

路线	learning signal	代表
Fine-tuning	自筛高质量 trajectory 作下一轮 SFT 数据	STaR（仍需正确答案）→ 只用 unlabeled questions + self-verification
RL（self-rewarding RL）	① 内生信号：confidence / likelihood / entropy / self-certainty；② group 级：majority voting 伪 reward	[[RLPR：EXTRAPOLATING RLVR TO GENERAL DOMAINS WITHOUT VERIFIERS|RLPR]]、[[GENERALIST REWARD MODELS：FOUND INSIDE LARGE LANGUAGE MODELS|Generalist RM]]、[[TTRL：Test-Time Reinforcement Learning|TTRL]]、[[The Majority is not always right：RL training for solution aggregation|Majority]]
Distillation（on-policy self-distillation）	student 自己 rollout，teacher 在其实际轨迹上给 dense token-level supervision	OPSD（同一模型既当 student 又当 teacher，但仍需 verified solution）→ U-OPSD（连 reference label 也去掉，用 multi-rollout majority consensus 造 pseudo-solution）

三条路线分别用 trajectory、reward、token-level distribution，但本质相同：把原本由人提供的 supervision 搬进模型自己的 improvement loop。

[!warning] zero-label 的两大风险 - self-confirming loop：generator 与 verifier 共享相似能力与 bias，错误沿 “model bias → biased evaluation → biased learning signal → stronger bias” 不断写回模型。 - training collapse：即使 reward 完全正确，训练动态也可能不稳定——在用真实 binary verifier 的 code RL 中出现过典型 rise-and-collapse，KL / EWC 等约束也无法完全阻止。

（2）zero-data：连”学什么”也自己定

zero-label 仍需外部出题；zero-data 进一步让模型自己生成 problem / curriculum，即 self-play：Absolute Zero、[[R-Zero：Self-Evolving Reasoning LLM from Zero Data|R-Zero]] 采用 proposer / challenger ↔︎ solver 的 co-evolution；Agent0 把这种关系扩展到 agentic task，curriculum agent 与 tool-using executor 从零外部数据共同 evolve。

[!example]+ co-evolution 长什么样（以 R-Zero 为例） challenger 根据 solver 当前能力生成新问题 → solver 解题 → 多数投票产生 pseudo label → 双方被重新训练 → 更强的 solver 反过来改变”下一轮值得出什么题”。curriculum 不来自人，而来自 solver 自身的能力边界。同路线另见 [[BEYOND PASS@1：SELF-PLAY WITH VARIATIONAL PROBLEM SYNTHESIS SUSTAINS RLVR|Variational Problem Synthesis]]。

	problem 来源	learning signal	交给模型什么
zero-label	人出题	自造	how to learn
zero-data	自造	自造	what to learn

但有一条边界：problem 与 learning signal 动态变化了，improvement procedure 仍由人预设——majority voting、uncertainty reward、filtering rule 等 evaluation mechanism 不会随 solver 提升而自动变强。

[!warning] zero-data 的两大风险 - diversity collapse：proposer 收敛到一小类最容易满足 reward 的问题，curriculum 越来越窄。 - reward grounding failure：reward 无法锚定真实能力提升时，proposer 与 solver 的 co-evolution 共同偏离真正有价值的 learning frontier。

（3）auto research：自造 improvement strategy

再往前一步：self-improvement 从 curriculum generation 扩展到 research process 本身。research agent 根据模型当前表现分析 failure、提出 hypothesis、选择 data / training recipe、运行实验，并按 evaluation result 持续调整后续 research decision。

	self-generated 的东西
zero-label	supervision
zero-data	curriculum
auto research	improvement strategy

§3 Verifier：RSI 的真正瓶颈

把两节放在一起，闭环实际在逐层扩展：

answer → experience → learning signal → problem / curriculum → verifier

verification 很可能比 generation 更接近 RSI 的核心瓶颈——一个 self-improvement loop 能否持续，取决于它依赖的 evaluation signal 是否可靠。

任务域	verification 手段	特点
math / code	proof checker、unit test、execution feedback	易形成稳定自动 loop，但 criterion 预先固定 → bounded self-improvement
open-ended agent / creative / research taste	需评价 novelty、usefulness、importance	“什么算更好”本身难定义 → 越接近 open-ended RSI 越难

近期开始出现直接针对 verifier 本身的 self-improvement：

• Self-Trained Verification：把 verifier 当训练对象，让 verification capability 随 iteration 提升。
• Self-evolving Deep Research Agent：agent 能力演化时，同步更新评价 research output 的 rubric / verifier。
• Meta-evaluation：不只评价 output，而是评价 evaluator 本身。
• Red Queen Gödel Machine：agent 与 evaluator 共同 evolve，evaluation criterion 不再固定。

注意与 R-Zero 的区别：R-Zero 的 evaluation signal 随 solver 状态动态变化，但 majority voting、uncertainty reward 等 verification mechanism 仍是人为设定；上面这些工作进入 evolution loop 的，是 verifier 的能力乃至 criterion 本身。

[!question] 全文悬而未决的核心问题 verifier 可以被 meta-verifier 评价，evaluator 可以与 agent co-evolve，但不断变化的 evaluation mechanism 如何保持与真实目标的 grounding？如何让 verifier 持续进化、又不与 policy 共同 drift（co-drift）？这是 closed-loop RSI 最关键也最难的问题之一，目前没有成熟答案。

我的批注

• ⚡ 全文最有力的框架是两条线：persistence（output → weights → Agent）与闭环逐层扩展（supervision → curriculum → strategy → verifier），把一堆 self-* 术语统一在”人逐步退出 loop”之下。
• ⚡ §3 的判断与 [[Review：自进化Agent的RL Memory与Skill方法批判]] 形成互证：那边说 memory / skill 工作 over claim、真问题是 credit assignment；这边说 generation 侧已基本闭环、瓶颈全压到 verification——都指向 evaluation 被高估、verification 被低估。
• ❓ verifier 自进化四方向（Self-Trained Verification / meta-evaluation / Red Queen）都还较新，值得各建一条 paper 笔记跟踪。
• ❓ training collapse 机理文中未展开，可对照 [[CURE：Critical-Token-Guided Re-concatenation for Entropy-collapse Prevention|CURE]]（entropy collapse）与 [[ProRL：Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models|ProRL]]。

行动项

• 精读参考文献：arXiv:2607.07663、《A Taxonomy of Self-Evolving Agents》(lsl.zone)、Anthropic《Recursive Self-Improvement》
• 建卡：Absolute Zero、Agent0、Darwin Gödel Machine、OPSD / U-OPSD、Red Queen Gödel Machine
• 想清楚：自己的 RLVR 实验里，怎么监测 reward / verifier 与 policy 的 co-drift？

相关笔记

TABLE WITHOUT ID file.link AS "笔记", date AS "日期"
FROM "Research/Papers"
WHERE contains(tags, "Reading") AND (contains(file.name, "Self-Evolv") OR contains(file.name, "自进化") OR contains(file.name, "Self-Improvement") OR contains(file.name, "R-Zero") OR contains(file.name, "TTRL"))
SORT date DESC

参考文献

1. arXiv:2607.07663
2. A Taxonomy of Self-Evolving Agents (lsl.zone)
3. Anthropic：Recursive Self-Improvement