多智能体系统越复杂，失败越难查：日志很长，错误可能藏在很早的一步，表面看却像后面才坏。AgenTracer 把「失败归因」做成数据问题：对失败轨迹做反事实回放，逐步用分析器提供的正确动作替换、重跑，最早能让任务转成功的那一步就是关键错误；对成功轨迹做程序化故障注入，主动制造已知位置的失败。两条路合成 TracerTraj-2.5K，再用多粒度 GRPO 训练 8B 追踪器。Who&When 自动子集 step-level 上（w/ G），它拿到 42.86%，Claude-4-Sonnet 是 40.65%；同一格去掉 G 后 Claude 38.83 反超 AgenTracer 的 37.30。
论文把「关键错误」定义为决定性的最早错误：轨迹里存在某一步，把它替换成 oracle 给出的修正动作并重跑后续步骤后，整个任务从失败变成成功；所有满足条件的位置里取时间最早的那个。对失败轨迹，作者让 DeepSeek-R1 扮演分析器，逐步给出「最小侵入」的修正动作，重跑并检查结果，找到最早成功点。对成功轨迹，则随机选 K 个注入点，用扰动算子改掉动作再重跑；一旦诱发失败，注入点就是已知标签。
训练侧，AgenTracer-8B 以 Qwen3-8B 为底座，用去掉 KL 的 GRPO。奖励是三段式：格式必须严格包在 <think> 与 <answer> 里（二值门控）；agent 级是否正确（二值）；step 级用高斯核按距离给部分分。最终输出 <agentID> | <stepID>。这套组合在 Who&When 两个子集上多数单元格超过 Claude-4-Sonnet 与 Gemini-2.5-Pro，但并非每个单元格都赢：automated step-level 去掉 G 后 Claude 38.83 高于 AgenTracer 37.30；TracerTraj-agentic 的 agent-level（w/ G）Claude 55.20 也高于 AgenTracer 53.28。
读完这节你应该知道：失败归因要回答什么，以及为什么现成的大模型做不好。
一个由 Planner、Coder、Tester 等多个角色组成的系统，执行一条长轨迹后给出错误答案。最终答案错了，但错误可能来自很早就下载错的文档、某个 agent 传错的参数、或某次工具调用的静默失败；后面的步骤看起来都「正常」，只是在错误前提上继续推理。论文引用的 Berkeley 研究显示，流行多智能体框架的失败率最高可达 86.7%。§1
论文把任务形式化为：给定失败轨迹 τ 和二元判定 Ω(τ)∈{0,1}，找到责任 agent i* 与决定性错误步 t*。这里的「决定性」不是「看起来最可疑」，而是「修正它就能让任务成功」；若有多个这样的位置，取时间最早的那个。这个定义把归因从主观阅读日志，变成可复现的反事实实验。§3
现成模型的表现并不好：论文称当前推理模型在该任务上的准确率通常低于 10%；Table 1 里 Who&When handcraft 的 step-level，GPT-4.1 只有 3.44/3.44（w/ G 与 w/o G），Gemini-2.5-Pro 只有 9.72/6.90。AgenTracer-8B 在这一格是 20.68/20.68。Table 1
包含每一步的状态、动作与执行 agent；日志长，错误可能被后续「看似正常」的步骤掩盖。
输出格式固定为 <agentID> | <stepID>；两个粒度分别评分，避免只猜对 agent 或只猜近步骤。
Figure 4 的案例里，根因在第 2 步（Web Surfer 取到旧文件），直到第 11 步才出现能证明它的证据。
读完这节你应该知道：Who&When、MAST 与 AgenTracer 的数据规模差在哪里。
Who&When 是公开的失败归因基准，含 handcraft 与 automated 两个子集；MAST 也提供人工标注的失败轨迹。论文指出 MAST 与 Who&When 分别只有约 200 与 127 条人工标注的多智能体失败轨迹，规模不足以系统训练归因模型。§1
把整条轨迹一次性喂给 GPT-4.1、Gemini-2.5-Pro、Claude-4-Sonnet 等模型，让它们输出错误位置；这是论文的 all-at-once 设定 §5.1。Table 1/2 显示这类直接推理在 step-level 上普遍很弱，且给不给 ground truth G 并不稳定提升准确率，有时反而更差 §5.2。
AgenTracer 的不同点是先自动造数据、再训专用小模型：用反事实实验与故障注入生成「错误位置已知」的监督信号；论文把这套标注流程称为 automatic trajectory annotation；训练时再用格式门控与高斯核把「接近正确步骤」变成可学习的部分分。§4
读完这节你应该知道：两条标注路径怎么工作、奖励函数怎么拆、为什么可以去掉 KL。
对每条失败轨迹 τ，按时间从 0 到 T 逐步尝试：分析器 πanalyzer 拿到当前状态、原动作、历史、环境反馈 F 与标准答案 G，给出一个「最小侵入」的修正动作 a't；用修正动作替换原动作，重跑后续步骤得到 τ'。若 Ω(τ')=1，说明第 t 步是能翻转结果的位置；取最早满足条件的 t 作为 t*，该步执行 agent μ(t*) 即 i*。分析器被要求只给修复指导，不泄露完整答案。§4.1
对每条成功轨迹，从 0..T 中随机抽 K 个注入点；在每个点用扰动算子 Π 改掉原动作，得到 ãt，再重跑。若注入后 Ω(τ̃)=0，则注入点 (μ(t), t) 按构造就是决定性错误：因为我们知道错误是亲手放进去的。每条成功轨迹取第一个成功诱发失败的点，避免同一轨迹重复标注。两条路径合并成 Dtracer = D− ∪ D+，即 TracerTraj-2.5K。§4.1
底座是 Qwen3-8B，RL 算法用 GRPO，但去掉 KL 项，并把裁剪参数改成随训练步数衰减的 Bs = max(0.2·B0, B0(1 − s/Stotal))：前期裁剪宽、鼓励探索，后期收窄、稳定利用。论文没有给出 B0 的具体取值。§4.2
| 项 | 定义 | 作用 |
|---|---|---|
Iformat | 输出必须为 <think>…</think> + <answer>agentID | stepID</answer> | 不满足则总奖励为 0 |
ragent | I(îk = i*) | 责任 agent 是否猜对 |
rstep | exp(−(t̂k − t*)² / 2σ²) | 预测步骤离真值越近，奖励越高；σ=1 |
总奖励是 R = Iformat · (λ·rstep + (1−λ)·ragent)，λ=0.5。论文把这样设计的收益写成 smoother reward landscape：step 奖励提供部分分与平滑梯度，格式门控（hard gating）保证输出可解析；agent 奖励是二值信号，直接监督责任主体是否判对。§4.2
读完这节你应该知道：复现需要哪些设置，以及论文没有报告什么。
六个多智能体系统（MetaGPT、AutoGen、Smolagents、AgentPrune、AFlow、OWL-Workforce）× 六个基准（MBPP+、KodCode、Blackjack、GAIA、MATH、GSM8K）；测试集按 9:1 划分 §5.1。Table 3 的分域统计：Curated Trajectories 为 2,170 / 1,185 / 1,300，其中带错误步标注的 TracerTraj-2.5K 为 code 1,288、math 630、agentic 558，合计 2,476；测试集三域分别 147 / 63 / 56 Appendix A。
8 张 NVIDIA H100 80GB；RL 用 verl；batch size 32，rollout 数 8，学习率 1×10−6；奖励 λ=0.5，高斯核 σ=1；分析器与扰动算子都用 DeepSeek-R1。论文没有给 B0、训练步数、训练显存占用或总 GPU 小时。§5.1
Table 3 与实验设置还有一处统计口径差异：论文说六个基准 §5.1，Table 3 的 General Agentic Tasks 下列了 GAIA 与 HotpotQA 两个，合计七个 Appendix A。论文没有解释 HotpotQA 是否只用于某个系统子集；页面按 Table 3 转录，并标出这一差异。
读完这节你应该知道：失败轨迹与成功轨迹分别走哪条分支，标签在什么时候确定。
读完这节你应该知道：两张表怎么读、w/ G 与 w/o G 的差别，以及论文自己的百分比口径。
| 模型 | Handcraft · Agent | Handcraft · Step | Automated · Agent | Automated · Step | ||||
|---|---|---|---|---|---|---|---|---|
| w/ G | w/o G | w/ G | w/o G | w/ G | w/o G | w/ G | w/o G | |
| Qwen3-8B | 42.10 | 39.50 | 1.72 | 3.45 | 58.73 | 60.32 | 3.97 | 5.56 |
| LLaMA-3.2-3B | 37.93 | 50.00 | 1.72 | 3.45 | 37.30 | 45.23 | 2.38 | 8.73 |
| Qwen3-32B | 44.80 | 44.80 | 1.72 | 1.72 | 63.49 | 57.93 | 9.52 | 8.73 |
| Qwen3-Coder | 51.72 | 60.35 | 8.62 | 13.79 | 42.86 | 36.50 | 34.13 | 32.54 |
| GPT-4.1 | 43.10 | 37.93 | 3.44 | 3.44 | 55.55 | 59.52 | 29.52 | 21.90 |
| DeepSeek-R1 | 56.90 | 53.44 | 13.29 | 6.90 | 66.67 | 65.08 | 31.32 | 29.52 |
| Gemini-2.5-Pro | 51.72 | 51.72 | 9.72 | 6.90 | 61.11 | 57.14 | 29.52 | 25.86 |
| Claude-4-Sonnet | 56.90 | 50.00 | 17.24 | 18.97 | 57.93 | 51.11 | 40.65 | 38.83 |
| AgenTracer-8B | 69.10 | 63.82 | 20.68 | 20.68 | 69.62 | 63.73 | 42.86 | 37.30 |
| 模型 | Code · Agent | Code · Step | MATH · Agent | MATH · Step | Agentic · Agent | Agentic · Step | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| w/ G | w/o G | w/ G | w/o G | w/ G | w/o G | w/ G | w/o G | w/ G | w/o G | w/ G | w/o G | |
| Qwen3-8B | 45.35 | 32.99 | 2.36 | 1.15 | 31.74 | 33.58 | 9.52 | 12.96 | 27.93 | 30.16 | 13.49 | 15.31 |
| LLaMA-3.2-3B | 13.38 | 11.81 | 2.36 | 3.93 | 15.87 | 14.28 | 4.76 | 3.17 | 8.11 | 13.15 | 2.18 | 5.09 |
| Qwen3-32B | 62.99 | 63.78 | 2.36 | 1.75 | 17.46 | 17.46 | 4.76 | 7.93 | 30.55 | 30.55 | 18.60 | 15.31 |
| Qwen3-Coder | 69.29 | 66.92 | 14.96 | 14.17 | 28.57 | 33.58 | 11.11 | 22.22 | 40.67 | 43.12 | 24.99 | 25.69 |
| GPT-4.1 | 59.84 | 53.54 | 12.59 | 11.02 | 39.55 | 35.18 | 35.81 | 26.63 | 43.61 | 40.67 | 24.99 | 25.69 |
| DeepSeek-R1 | 11.81 | 11.81 | 10.23 | 10.23 | 42.68 | 38.58 | 29.52 | 18.51 | 45.12 | 46.19 | 27.13 | 21.80 |
| Gemini-2.5-Pro | 70.07 | 66.92 | 11.02 | 6.29 | 58.79 | 58.79 | 32.22 | 27.40 | 37.16 | 32.18 | 18.60 | 17.04 |
| Claude-4-Sonnet | 65.98 | 63.78 | 15.51 | 11.02 | 46.03 | 50.79 | 38.10 | 46.03 | 55.20 | 49.13 | 30.33 | 29.80 |
| AgenTracer-8B | 72.95 | 72.21 | 18.85 | 18.85 | 59.32 | 66.10 | 57.63 | 57.63 | 53.28 | 50.61 | 36.17 | 35.55 |
每行一个模型，两根柱依次为 w/ G 与 w/o G；柱高按百分比直接换算（满格 100）。AgenTracer 行用强调色标出。
视图 A：Who&When handcraft · Agent-level，w/ G。Table 1 给 AgenTracer 69.10、GPT-4.1 43.10、Claude-4-Sonnet 56.90、Gemini-2.5-Pro 51.72。柱高按 JS 公式 Math.round(v / 100 × 1000) / 10 保留一位小数，分别为 69.1% / 43.1% / 56.9% / 51.7%（占 track 高度）。readout 只显示与 w/ G 最高基线 56.90（Claude 与 DeepSeek-R1 并列）的差：69.10 − 56.90 = 12.20。手算另列：AgenTracer − GPT-4.1 = 26.0，− Gemini = 17.38，这两个差值不在 readout 中。
视图 B：TracerTraj agentic · Step-level，w/ G。Table 2 给 AgenTracer 36.17、Qwen3-8B 13.49、DeepSeek-R1 27.13、Gemini-2.5-Pro 18.60。柱高分别为 36.2% / 13.5% / 27.1% / 18.6%；readout 的 w/ G 最高基线是 Claude-4-Sonnet 30.33，36.17 − 30.33 = 5.84。手算另列：− Qwen3-8B = 22.68，− DeepSeek-R1 = 9.04，− Gemini = 17.57，均不在 readout 中。
反例对账：TracerTraj agentic · Agent-level，w/ G。Claude-4-Sonnet 55.20、AgenTracer 53.28，差 55.20 − 53.28 = 1.92，方向是 Claude 更高；页面在 §6.4 明确写出，不把该单元格算作 AgenTracer 的胜利。
先看论文主打的 Who&When。Handcraft agent-level（w/ G）：AgenTracer 69.10，Claude 56.90，GPT-4.1 43.10，分别高 12.2 与 26.0 点；Automated step-level（w/ G）：AgenTracer 42.86，Claude 40.65，Gemini 29.52，分别高 2.21 与 13.34 点。w/o G 时并非每一项都领先：automated step 上 Claude 38.83 高于 AgenTracer 37.30，AgenTracer 低 1.53 点；论文没有在正文点出这一格，页面并列。Table 1
在 TracerTraj 上，AgenTracer 的优势主要集中在 math 与 code：Code agent（w/ G）72.95 对 Gemini 70.07；MATH step（w/ G）57.63 对 Claude 38.10；agentic step（w/ G）36.17 对 Claude 30.33。但 agentic agent-level（w/ G）Claude 55.20 高于 AgenTracer 53.28（+1.92），所以「全面超越 Claude-4-Sonnet」不能成立。Table 2
论文的百分比口径也有两处对不上。论文说 DeepSeek-R1 在 TracerTraj-math 去掉 G 后「suffers a 9.21% drop」，Table 2 的 MATH step 是 29.52 → 18.51，绝对差 11.01 点（相对 37.3%），9.21 无法由该行复算 §5.2；同一句说 AgenTracer 保持 57.63，这一格 w/ G 与 w/o G 都是 57.63，确实没掉。摘要与引言说在 Who&When 上比 Gemini-2.5-Pro 高「约 18.18%」 §1，但 Table 1 里 handcraft agent 的最大差是 17.38 点（69.10−51.72），automated step 的最大差是 13.34 点（42.86−29.52），18.18 没有直接对应的单元格；页面并列原文写法与表格复算，不替原文统一。
读完这节你应该知道：哪些结论有表格支撑，哪些是论文没有验证的空白。
反事实回放依赖 DeepSeek-R1 给出「最小侵入」的修正动作；若分析器本身判断错，最早成功点可能标错。论文没有报告分析器自身的修正成功率或人工抽检一致率。§4.1
故障注入制造的失败由扰动算子决定，模式可能比真实系统里的交互错误、环境变化、幻觉更简单推断（论文只描述注入机制，未做合成 vs 真实的分布对比）。§4.1
Table 1 / Table 2 在每个设定下只有一个数（每格为 w/ G / w/o G 两值）；没有报告多种子、标准差或置信区间。AgenTracer 与 Claude 在 automated step w/o G 的 1.53 点差（Table 1）、agentic agent w/ G 的 1.92 点差（Table 2），都无法判断是否稳定。
还有两点。第一，「最早决定性错误」是一个有用但单一的定义：如果失败是多个小偏差累积、或真正的根因在更晚但更深的策略层，最早翻转点可能只是表层症状推断（由定义只取最早满足条件的位置推出）；论文没有讨论这种归因偏差。第二，Table 3（Appendix A）的 TracerTraj 测试集按域划分后每域只有 147 / 63 / 56 条，math 与 agentic 的单元格样本量很小，百分比的一位小数并不代表高精度推断（样本量小，论文未给方差）。Appendix A
Table 1 与 Table 2 的粗体/下划线声称标出最好与次好，但抽取文本无法复现格式；页面不据此判定最优，只按数值转录。Table 1 / Table 2
最后，论文只验证了 coding、math 与通用 agentic 三类任务 Table 2；机器人控制、多智能体博弈、实时环境等更开放场景没有实验。论文结论只说这条路线 paves the way for self-correcting and self-evolving agentic systems §6；「自动修复」与「实时归因」是笔记列出的未来方向，不是该节的内容。