ReasoningBank：把成功与失败都炼成可检索的推理策略

先建立共同认知：在流式、无标签的设定里，「记住」本身就是一个学习问题。

论文研究的不是训练一个更大的模型，而是让一个已经部署的 Agent 在连续任务中变强。设定是 test-time learning：任务 q1, q2, … 按流式到达，每条查询只有在被处理时才可见；完成当前任务前，Agent 不能偷看后面的任务，也没有 ground-truth 标签可用（§3.1）。

“By approaching each new task in isolation, they are doomed to (i) repeat similar errors observed in the past, (ii) discard valuable insights gained from related problems, and, most importantly, (iii) lack self-evolving capabilities that make the agent system more capable over time.”— §1

这句话把问题拆成两层。第一层是存什么：原始轨迹太长、太吵，直接塞回上下文会淹没当前任务；只存成功 workflow 又会丢掉失败里的预防性信息。第二层是怎么用：检索到的记忆必须能指导下一步动作，而不是只作为「相似案例」摆在那里。论文把这两层合起来称为 memory-aware agent 的核心缺口（§1、§3.2）。

评测覆盖三类任务：WebArena 的 5 个子集共 684 题（Shopping 187、Admin 182、Gitlab 180、Reddit 106、Multi 29）；Mind2Web 的 cross-task / cross-website / cross-domain；以及仓库级 issue 修复的 SWE-Bench-Verified（§4.1、Table 1）。这三个 benchmark 的共同点是：单步动作空间不大，但多步组合很长，早期的一个错误会沿轨迹放大。

论文的对照很集中：一条路线保留成功轨迹的具体细节，另一条把成功轨迹压成 workflow；两者都没有把失败转成可复用策略。

这也解释了为什么论文把「加入失败轨迹」做成单独的消融，而不是当作附带的实现细节。Figure 7 在 WebArena-Shopping、Gemini-2.5-flash 上比较了「仅成功」与「成功 + 失败」两种记忆来源：ReasoningBank 从 46.5 升到 49.7（+3.2 个百分点，相对 +6.9%）；Synapse 只从 40.6 升到 41.7（+1.1 个百分点）；AWM 反而从 44.4 降到 42.2（下降 2.2 个百分点）。同样是「多给失败轨迹」，三种记忆设计的反应并不一样。

核心不是「记住答案」，而是把轨迹里可迁移的推理模式抽出来，并让失败轨迹产出预防性规则。

论文把记忆库记作 M，初始为空。对第 t 个任务 qt，Agent 先用当前查询检索相关经验，再执行动作、得到轨迹 τt；任务结束后，judge 给出二值结果 yt，提取器从轨迹中产出新条目，最后并回记忆库。整个闭环可以写成：

每条记忆条目的结构是固定的三件套（§3.2）：

成败的差异体现在提取提示里。成功轨迹的提示要求先想「为什么成功」，再总结可迁移的策略；失败轨迹的提示要求先反思「为什么失败」，再写出今后避免同类失败的教训（Appendix A.1 的 Figure 9）。两条提示都限制每条轨迹最多 3 条记忆，且不能重复或重叠。提取器与 Agent 使用同一个 backbone，温度设为 1.0；judge 的温度设为 0.0 以保证判定可复现（Appendix A.2）。

检索侧刻意保持简单：用 gemini-embedding-001 编码查询，在记忆池上做余弦相似度搜索，默认 k=1；检索到的条目按「标题 + 内容」拼进 system prompt（Appendix A.2）。巩固也只是简单并集，没有遗忘、合并或置信度更新。论文在 Limitations 里明确说，这是为了把变量隔离在「记忆内容」上，而不是主张这套检索/巩固已经最优。

把「记忆」当成推理时的额外调用：增加的主要是 LLM-as-a-judge 与记忆提取，不是梯度更新。

论文在 Appendix C.2 统计了每条轨迹的平均 token 消耗，拆成 action generation、LLM-as-a-judge、memory extraction 三部分。ReasoningBank 的总量是 53,054.5，No Memory 是 50,847.4；净增 2,207.1，相对 +4.3%。有趣的是，ReasoningBank 的 action generation 反而比 No Memory 少 1,541.3 token：记忆让轨迹更短，部分抵消了 judge 与提取的开销。

逐格转录自 Table 5。表注没有说明 token 的计数工具；§C.2 只称其为 “averaged total token consumption for each trajectory”。

论文在 §C.2 的原话是：“while the total token consumption is increased only by around 4.3%, the overall performance is boosted by 20.5%”（原文未明说指标；按 Table 1 总体 48.8 对 40.5 复算为相对提升 20.5%）。这句话把「便宜」与「有效」放在一起，但要注意两个限定：第一，推断 Table 5 只覆盖单轨迹的 ReasoningBank，不含 MaTTS 的 k 倍 rollout（依据 §C.2 的 per-trajectory 口径与 Table 5 的表项）；第二，token 统计没有单列 embedding 检索调用；Table 5 的 Total 逐行等于三个分列之和，从表中无法确认 embedding 调用是否被计入。

还有一个实现层面的约束：judge 和提取器都用与 Agent 相同的 backbone，而不是单独训练的模型（Appendix A.2）。这让方法容易复现，但也意味着「记忆质量」与「Agent 能力」推断绑定：换一个更弱的 backbone，judge 和提取器也会一起变弱。论文在 Appendix C.4 用 Gemma-3-12B-Instruct 做了小模型验证：WebArena-Shopping 从 17.1 升到 24.1（+7.0 个百分点，相对 +40.9%）；同一张表里 Synapse 为 16.0、AWM 为 21.4，ReasoningBank 的平均步数也最少（11.8）。这说明收益不限于专有前沿模型，在 Gemma-3-12B 上也能获得收益；但 24.1% 仍明显低于 WebArena 主实验中 Gemini-2.5-flash 的 48.8%。

逐格转录自 Table 6；指标为 success rate 与 average steps。

ReasoningBank 负责「把经验变成条目」，MaTTS 负责「让更多 rollout 产出更好的条目」。

下面的流程图按 §3.2 重绘，不是论文原图。它只覆盖检索、执行、judge、提取、巩固这条主闭环，没有画出 MaTTS 的并行/串行分支，也没有画出 prompt 的具体模板与 Best-of-N 的聚合细节。

MaTTS 的两种扩展都建立在这条闭环上，但「多出来的轨迹」怎么用不同。并行扩展对同一个查询生成 k 条轨迹，让它们互相比较，提炼在多条轨迹里都成立的模式，过滤偶发的伪解；串行扩展在同一条轨迹上多轮 self-refinement，把中间笔记、纠错和反思也当作记忆信号（§3.3）。前者强调跨轨迹的对比，后者强调轨迹内部的修正。

扩展不是无条件有效。论文同时给了两条对照：无记忆的 MaTTS 从 39.0 只升到 42.2（+3.2 个百分点，相对 +8.2%）；在 k=5，ReasoningBank 的 MaTTS 并行是 55.1，vanilla TTS（MaTTS w/o aggregation）是 52.4，差 2.7 个百分点；串行是 54.5 对 51.9，差 2.6 个百分点。论文的解释是：没有好记忆时，多出来的 rollout 只是重复探索，甚至把噪声带进记忆；有了 ReasoningBank，rollout 的多样性才会变成可对比的信号。

先看主表，再看两个反直觉：记忆不是越多越好，失败经验也不是对每种记忆都有益。

WebArena 的整体结果在三个 backbone 上一致：Gemini-2.5-flash 从 40.5 到 48.8（+8.3 个百分点，相对 +20.5%）；Gemini-2.5-pro 从 46.7 到 53.9（+7.2 个百分点，相对 +15.4%）；Claude-3.7-sonnet 从 41.7 到 46.3（+4.6 个百分点，相对 +11.0%）。三个增益都来自 Table 1 的 Overall 列，不是子集平均。Overall 平均步数在 Gemini-2.5-flash 上从 9.7 降到 8.3（少 1.4 步，相对 14.4%）。

逐格转录自 Table 1。子集题数：Shopping 187、Admin 182、Gitlab 180、Reddit 106、Multi 29；Overall 684。+MaTTS 行按原表题注标注 pass@1，和 Figure 4 的 BoN 不是同一口径。

SWE-Bench-Verified 只有 Gemini 两个 backbone，结果同向但幅度更小：Gemini-2.5-flash 从 34.2 到 38.8（+4.6 个百分点，相对 +13.5%）；Gemini-2.5-pro 从 54.0 到 57.4（+3.4 个百分点，相对 +6.3%）。平均交互步数也下降：flash 从 30.3 到 27.5（少 2.8 步），pro 从 21.1 到 19.8（少 1.3 步）。

逐格转录自 Table 2；该表没有 Claude-3.7-sonnet 行。AS = average steps。

这张消融给出的结论不是「检索没用」，而是「检索的相关性比数量更重要」。论文的原话是：“the relevance and quality of memory are more crucial than sheer quantity for effective performance”（Appendix C.1）。从 k=1 增加到 k=4，检索到的条目里可能混进更多会制造冲突或噪声的经验，成功率从 49.7 降到 44.4，下降 5.3 个百分点（相对 k=1 的 49.7，10.7%）。

Mind2Web 的增益主要集中在元素级和步骤级：cross-task EA 在 flash 上从 46.0 升到 52.1（+6.1 个百分点），pro 上从 49.3 升到 53.6（+4.3 个百分点）；cross-website SSR 在 flash 上从 31.7 升到 33.9（+2.2 个百分点），pro 上从 34.8 升到 36.9（+2.1 个百分点）。但 task-level SR 的绝对值仍然很低：cross-domain 在 flash 上只有 1.6，pro 上只有 1.7（Table 3）——推断（依据这两个值）这类长程跨域任务仍有很大提升空间。

步数收益在成功实例上更明显。Table 4 把 WebArena 四个域分成成功/失败实例：Shopping 成功实例从 6.8 降到 4.7（少 2.1 步）；四个域的失败实例也都有下降，但幅度普遍更小。论文据此说，ReasoningBank 主要是在「走对路时少绕弯」，而不是单纯把失败轨迹截短（§5）。完整数值见下表：

逐格转录自 Table 4；表中数值为平均交互步数。

把论文明确写出的边界、以及页面对表格条件的观察放在一起，避免把「总体领先」外推成「每个子集都领先」。

论文的未来方向也印证了这些边界：它建议做组合式记忆（把多个条目组合成更高层策略）、分层记忆架构（episodic / working / long-term）、以及更强的检索控制器；这些都没有在当前实现里（Appendix D）。所以更准确的定位是：ReasoningBank 提供了一个「记忆内容」的强基线，而不是一个完整的长期记忆系统。