独立训练的两个智能体，各自在自己的数据上刷分：planner 的子目标越写越漂亮，grounder 却未必接得住。 MOAT 把训练改成两段交替——planner 用 grounder 的困惑度做 DPO 偏好，grounder 用 planner 真实采样出的子目标做 critic 过滤后的 SFT。 代价是每轮要采样 K=15 个子目标序列，并让 critic 逐条判定。
能力差距不是「某个智能体不够强」，而是两个智能体的分布对不上：planner 在 ground-truth 子目标上训练，grounder 也在 ground-truth 子目标上训练；推理时 grounder 看到的却是 planner 自己采出来的子目标。
MOAT 把「谁适应谁」拆成两段。Stage 1 让 planner 采样 K 个子目标序列，用 grounder 对正确动作序列的 PPL 排序，最低的当 chosen、最高的当 rejected，做 DPO；Stage 2 复用这些子目标，让 grounder 生成动作，critic 判定并修正，再 SFT。
在 Llama-2-7B / Mistral-7B-v0.2 / Qwen2.5-14B 上，MOAT 对 Agent Lumos 的 18 个任务格全部更高；held-in Avg 分别 +3.0 / +3.1 / +2.5 个百分点，held-out Avg 分别 +2.7 / +4.4 / +1.3 个百分点（Table 2）。
但增益不是「全面领先」：GPT-4 仍在 GSM8K、StrategyQA、SVAMP、HotpotQA 四个任务以及两个 Avg 上更高；主实验只跑 2 轮、K=15；理论上的非降/收敛论证依赖「PPL 与真实 reward 负相关」这一前提。
先建立共同认知：能力差距是分布错配，不是单点能力不足。
论文把多智能体系统拆成三段：规划智能体 πp 把任务 x 分解成子目标序列 s；接地智能体 πg 在工具集 I 和子目标 s 的条件下生成工具调用序列 a；执行模块执行 a，得到最终答案（§3）。
问题出在两个方向都可能错位。planner 可能生成「高层但空泛」的子目标，较弱 grounder 不知道怎么把它落成工具调用；反过来，较强的 grounder 也可能被较弱 planner 的模糊子目标拖住，产生错误或低效执行（§1）。
子目标逻辑上成立，但缺少可执行的中间步骤；grounder 只能猜，或者调用错误的工具。
论文原句：a planning agent might generate high-level subgoals that are difficult for a weaker grounding agent to understand and execute（§1）。
grounder 有能力执行，但 planner 的子目标粒度、顺序或措辞与它的工具接口不匹配，能力被浪费。
论文原句：a strong grounding agent might struggle with subgoals generated by a weaker planning agent（§1）。
独立训练会把这种错配固化。planner 的训练目标是「生成正确的子目标」，grounder 的训练目标是「在正确子目标下生成正确动作」；两者都以 ground-truth 子目标为条件，但推理时 grounder 的输入来自 planner 的采样分布。这个分布差，论文称为 capability gap。
如果 planner 永远只学 ground-truth 子目标，它不会知道自己的输出会被 grounder 怎样消费；如果 grounder 永远只学 ground-truth 子目标，它也不会遇到 planner 真实输出的噪声和风格。MOAT 的两个阶段，分别从两侧补上这个缺口。
AgentTuning / Agent-FLAN 是单智能体；Agent Lumos / α-UMi 是多智能体但独立训练；AutoACT 是自训练。共同缺口是「没有跨智能体的联合优化」。
AgentTuning、AgentOhana 用 GPT 系列生成的轨迹微调较小模型（§2）；Agent-FLAN 用模块化参数组训练不同的单智能体能力（§6.2）。
它们能提升指令跟随和推理，但论文认为，对需要长期规划和执行的复杂任务仍然有限。
Agent Lumos 和 α-UMi 为不同角色构造专门数据，分别微调；AutoACT 让每个智能体在自己的数据上自训练（§1 的独立训练概括；Agent Lumos 的分角色微调见 §6.2；AutoACT 见 §2）。
这里的含义是：每个智能体的训练数据在训练前就固定了，训练过程中没有机制让一方根据另一方的行为调整。推断（依据：§1 的 “construct specific training data for each agent and train each agent independently”；§6.2 的 Agent Lumos “separately fine-tunes models on datasets to obtain specialized agents”。原文没有逐字写「训练前固定」，这是对独立训练流程的概括。）
However, existing methods often train agents independently, lacking joint optimization to ensure effective coordination.（§2）
MOAT 与 Agent Lumos 的差别不在 cold start 数据——MOAT 的 cold start 使用 Lumos 公开的 SFT 数据（§4.3、A.1），Agent Lumos 作为该数据的来源也用同一套数据训练。推断（依据：§4.3 写 SFT dataset collected in previous work (Yin et al., 2024a)；A.1 写 public datasets provided by Lumos；原文未逐字写两者共用同一份数据。）差别在 cold start 之后：MOAT 让 planner 和 grounder 交替看到对方的输出，并把对方的反馈写进下一轮训练。换言之，Agent Lumos 是「两个专家各自毕业」，MOAT 是「两个专家毕业后继续一起做项目」。
因为两个模型的损失函数都不包含对方的推理行为。planner 的 DPO 偏好如果只来自人工标注或 ground-truth，它优化的是「人类觉得好的子目标」，不是「当前 grounder 能执行的子目标」。MOAT 把后者的信号显式接进来：用 grounder 的 PPL 当 reward，用 critic 过滤 grounder 的自生成动作。
PPL 在这里不是评估指标，而是 reward：越低，说明这串子目标越容易被 grounder 转成正确动作。
给定任务 x，planner 先采样 K 个候选子目标序列，记作 S = {s1, …, sK}。对每个候选，用 grounder 在正确动作序列 a 上的困惑度打分：PPL 越低，表示 grounder 越「跟得上」这串子目标（§4.1）。
记号说明：v1 PDF p.3 与 arXiv HTML 的原文都完整显示
PPLπg(a | x, I, s) := exp{ −(1 / |a|) Σi=1|a| log Pπg(s | a<i, x, I, s) }——
对数项里被预测的变量写的是 s，不是 ai，疑为排印错误（typo）。本页上面的公式按标准困惑度记号写成 ai | a1:i−1, x, I, s，属于记号修正，不是逐字复制。
拿到 K 个 PPL 后，取最低的作为 sw（chosen），最高的作为 sl（rejected），构造偏好对，用 DPO 更新 planner。参考模型 πref 初始化为优化前的 planner。
A.1 还加了一个稳定性过滤：如果 sw 与 sl 的 reward 差小于 0.1，这对样本不参与 DPO。也就是说，只有「明显更好」和「明显更差」的候选才被拿来当偏好对。
切换任务，看 Mistral-7B 上 Agent Lumos 与 MOAT 的 grounding PPL。柱长按两者中的较大值归一化，数值直接取自 Table 4；下方读数给出相对下降。
Math：(3.53 − 2.56) / 3.53 × 100 = 0.97 / 3.53 × 100 = 27.4787…% → 27.48%。
Web：(5.71 − 5.02) / 5.71 × 100 = 0.69 / 5.71 × 100 = 12.0840…% → 12.08%。
QA 同式：(1.41 − 1.40) / 1.41 × 100 = 0.01 / 1.41 × 100 = 0.7092…% → 0.71%。
三组数值逐字取自 Table 4（Mistral-7B）；页面不引入插值或模拟值。JS 与手算都用同一公式、保留两位小数。
这张图里最值得注意的是 QA 只降了 0.71%：在 Mistral-7B 上，Agent Lumos 的 QA PPL 本来就只有 1.41，MOAT 是 1.40，差距很小。Math 的 27.48% 和 Web 的 12.08% 更明显。PPL 的绝对值和任务类型强相关，不能跨任务直接比较。推断（依据：Table 4（Mistral-7B）三个任务的基线 PPL 从 1.41 到 5.71，相对降幅从 0.71% 到 27.48%。）
自生成数据不能直接用；critic 判定 + 修正，再按 1:1 混入初始数据做 SFT。
Stage 2 复用 Stage 1 采样出的全部 K 个子目标序列，而不是只用 PPL 最低的那一个。对每个 (x, s)，grounder 生成动作序列 a。因为 a 是模型自己生成的，可能出错；直接拿去做 SFT 会导致性能退化甚至训练崩溃（§4.2 引用了 Dohmatob et al. 2024 与 Shumailov et al. 2024）。
x 和每个候选 s，让 grounder 生成 a。(x, I, s, a, ã)，判断 a 是否能让任务到达最终答案。ã 给出修正后的 â，把 (x, I, s, â) 加入 Dg。(x, I, s, a) 加入 Dg。Dg 对 grounder 做 SFT。论文原句：“This filtering and correction process ensures that only reliable supervision signals are used during grounding agent training.”（§4.2）这里的「可靠」指的是动作序列能到达与 ground-truth 相同的最终答案，不是子目标本身一定最优。
Appendix A.3 的 critic prompt 要求模型在失败时输出 Corrected Subgoals 与 Corrected Actions；Algorithm 1 的失败分支（第 6 行）写入 Dg 的 pair 是 (x, I, s, â)，其中 s 仍是原始子目标，没有替换成 corrected subgoals；成功分支（第 9 行）写入原始 a。
两处并列：A.3 的 prompt 允许改子目标；Algorithm 1 的伪代码只替换动作。本页按 Algorithm 1 描述数据流，不替原文消解这个差异。
Cold start 用 Lumos 的公开 SFT 数据，planner 和 grounder 各训 2 epochs，学习率 2×10−5，batch size 128，最大序列长度 1024，线性 warmup 占 3%。 DPO 阶段用 accelerate + DeepSpeed：batch size 4，梯度累积 8，学习率 4×10−7，cosine scheduler，最大长度 1024。 Grounding 阶段再训 2 epochs，学习率 2×10−5，batch size 128，并与初始数据按 1:1 混合，防止遗忘。 全部实验在 6×A800 80GB 上完成；主实验 K=15、迭代 2 轮、采样温度 1.0，critic 用 DeepSeek-R1-Distill-Qwen-32B。 推断（依据：A.1 只写 initial fine-tuning “train two epochs”，未分角色列出；本页把它理解为 planner 和 grounder 各训 2 epochs。）
训练集是三个 held-in 任务，共 1800 条（GSM8K 1300 + StrategyQA 300 + Mind2Web 200）。每条任务每轮采 K 个候选，所以 PPL 打分、动作生成、critic 判定都按 1800 × K × N 量级增长。拖动滑块看总量。
K=15, N=2：1800 × 15 = 27,000 条/轮；27,000 × 2 = 54,000 条。
K=5, N=3：1800 × 5 = 9,000 条/轮；9,000 × 3 = 27,000 条。
论文没有说明每轮是否对训练集做子采样、是否在一个 epoch 内重复使用同一条任务；上面的估算按 Algorithm 2 的「for each task x ∈ D」直接相乘。若实际只取部分数据，数值按比例缩小。
这里只估「采样 / 打分 / 判定」的条数，不估 GPU 小时或 token 数——论文没有给出这些开销。
Cold start → Stage 1 更新 planner → Stage 2 更新 grounder → 下一轮；推理时仍是 planner → grounder → executor 的线性管线。
这张图里有两个容易被忽略的点。第一，Stage 2 用的是全部 K 个候选，不是只把 PPL 最低的那个喂给 grounder；这样 grounder 见到的是 planner 更完整的采样分布（K=15，§6.3），而不是被 planner 自己挑过的「最优样本」。第二，critic 的修正发生在写数据集之前：Algorithm 1 的失败分支写入 critic 修正后的 â，成功分支保留原始 a（第 6 / 9 行）；所以 SFT 目标并非一律是校对后的动作。
Table 2 的 18 个任务格全部高于 Agent Lumos；换到 GPT-4，MOAT 只在 Mind2Web 和 WebShop 上更高。
Table 2 · MOAT 与基线在 held-in / held-out 任务上的结果（完整转录）。指标口径按 Table 1 的 Metric 列：GSM8K / SVAMP 为 Accuracy，StrategyQA / HotpotQA 为 Exact Match，Mind2Web 为 Step Success Rate，WebShop 为 Avg. Reward。Avg 可按三个任务指标值的算术平均复算（held-in：GSM8K / Mind2Web / StrategyQA；held-out：SVAMP / WebShop / HotpotQA），不是按样本量加权，也不是同一指标下的统一分数。表头原文把 GSM8K 写作「GSK8K」，本页按 GSM8K 记录。粉色底纹标记 MOAT（本文方法），不是逐列最优标记；原文 Table 2 caption 写「The best results in each group are highlighted in bold」，本页未逐格转录每组最优的加粗。
| Method | Base Model | GSM8K | Mind2Web | StrategyQA | Held-in Avg | SVAMP | WebShop | HotpotQA | Held-out Avg |
|---|---|---|---|---|---|---|---|---|---|
| GPT-4 | — | 87.0 | 22.6 | 71.0 | 60.2 | 90.5 | 58.6 | 52.1 | 67.1 |
| GPT-3.5-Turbo | — | 65.0 | 21.7 | 58.0 | 48.2 | 81.0 | 62.4 | 24.0 | 55.8 |
| Llama-2-7B-Chat | Llama-2-7B | 15.0 | 11.9 | 5.0 | 10.6 | 20.7 | 15.8 | 3.0 | 13.2 |
| Agent Tuning | Llama-2-7B | 14.0 | 10.6 | 49.0 | 24.5 | 35.3 | 59.8 | 10.0 | 35.0 |
| Agent Tuning | Llama-2-13B | 22.3 | 11.1 | 52.0 | 28.5 | 56.9 | 65.0 | 24.0 | 48.6 |
| Agent-FLAN | Llama-2-7B | 28.5 | 16.9 | 48.0 | 31.1 | 39.2 | 55.9 | 12.0 | 35.7 |
| Agent Lumos | Llama-2-7B | 46.6 | 29.9 | 46.7 | 41.1 | 65.5 | 58.3 | 25.0 | 49.6 |
| MOAT | Llama-2-7B | 47.4 | 33.0 | 52.0 | 44.1 | 69.2 | 60.6 | 27.0 | 52.3 |
| Agent Lumos | Mistral-7B-v0.2 | 46.4 | 33.8 | 49.3 | 43.2 | 61.9 | 58.7 | 27.0 | 49.2 |
| MOAT | Mistral-7B-v0.2 | 48.2 | 34.7 | 56.0 | 46.3 | 73.7 | 59.0 | 28.0 | 53.6 |
| Agent Lumos | Qwen2.5-14B | 81.7 | 31.8 | 49.3 | 54.3 | 85.5 | 64.7 | 27.0 | 59.1 |
| MOAT | Qwen2.5-14B | 82.4 | 32.6 | 55.3 | 56.8 | 87.4 | 65.8 | 28.0 | 60.4 |
先看 MOAT 对 Agent Lumos：三个基座模型 × 六个任务，共 18 个格子，MOAT 全部更高。最小的差距是 Mistral 的 WebShop（58.7 → 59.0，+0.3 个百分点），最大的是 Mistral 的 SVAMP（61.9 → 73.7，+11.8 个百分点）。
按 held-in / held-out 的 Avg 拆开，三个模型的增益分别是：Llama +3.0 / +2.7 个百分点，Mistral +3.1 / +4.4 个百分点，Qwen +2.5 / +1.3 个百分点。
摘要写 “average improvements of 3.1% on held-in tasks and 4.4% on held-out tasks”。按 Table 2 复算，3.1 = 46.3 − 43.2、4.4 = 53.6 − 49.2，都只对应 Mistral-7B 这一个模型；Llama 是 +3.0 / +2.7，Qwen 是 +2.5 / +1.3。§7.1 也只拿 Mistral 举例说明 4.4%。
推断（依据：上述四个差值全部来自 Table 2；摘要没有给平均口径的公式）摘要的 3.1%/4.4% 是 Mistral 单模型的 held-in / held-out 点差，不是三个模型的平均增益。
再看 GPT-4。Table 2 里 GPT-4 的 held-out Avg 是 67.1，高于 MOAT 三个模型的 52.3 / 53.6 / 60.4；held-in Avg 60.2 也高于 MOAT 的 44.1 / 46.3 / 56.8。逐任务看，GPT-4 在 GSM8K、StrategyQA、SVAMP、HotpotQA 上更高，MOAT 在 Mind2Web 和 WebShop 上更高。论文 §7.1 说 MOAT 在 Mind2Web 上「about a 50% performance improvement over GPT-4」；按 Table 2 对 GPT-4 的 22.6 复算三行：Llama 33.0 相对提升 46.0%（10.4 / 22.6）、Mistral 34.7 相对提升 53.5%（12.1 / 22.6）、Qwen 32.6 相对提升 44.2%（10.0 / 22.6）。三行跨度 44.2%–53.5%，「about 50%」是对这组的粗略取整，主要由 Mistral 行支持推断（依据：Mistral 34.7 / 22.6 = 53.5%，是三者中最接近 50% 的一行）；不能按 Llama 单行断言「不是 50%」。
Table 3 · 消融实验（Llama-2-7B，两个 web 数据集；指标口径同 Table 1 的 Metric 列：Mind2Web 为 Step Success Rate，WebShop 为 Avg. Reward，Avg 可按两项算术平均复算）。↓ 后的数字是相对 vanilla MOAT 的绝对点差。
| Variant | Mind2Web | Δ | WebShop | Δ | Avg | Δ |
|---|---|---|---|---|---|---|
| Vanilla MOAT | 32.96 | — | 60.63 | — | 46.80 | — |
| w/o stage 1 | 29.58 | ↓3.38 | 58.76 | ↓1.87 | 44.17 | ↓2.63 |
| w/o stage 2 | 32.19 | ↓0.77 | 60.29 | ↓0.34 | 46.24 | ↓0.56 |
| w/o critic | 31.80 | ↓1.16 | 59.79 | ↓0.84 | 45.80 | ↓1.00 |
消融的顺序值得注意：去掉 stage 1 的 Avg 降幅是 2.63 个百分点，最大；去掉 critic 是 1.00，第二；去掉 stage 2 只有 0.56。论文据此说，planner 对齐是最关键的一步；critic 的作用（w/o critic）比移除整个 grounding improvement 阶段（w/o stage 2）更重要（§7.2）。
Table 4 的 Mistral-7B PPL 分析给出了另一面：Math 的 grounding PPL 从 3.53 降到 2.56（相对下降 27.48%），Web 从 5.71 降到 5.02（12.08%），QA 从 1.41 降到 1.40（0.71%）。QA 的 PPL 几乎没动，但 StrategyQA 的 Exact Match 在三个模型上分别提高了 5.3 / 6.7 / 6.0 个百分点（Table 2）。推断（依据：Table 4 的 QA PPL 差距只有 0.01，Table 2 的 StrategyQA 增益却是六个任务里最大的之一）PPL 与最终指标值并非一一对应，PPL 更适合当同一任务内的相对信号，而不是跨任务的绝对标尺。
论文还在 Mistral-7B 上报告了两个趋势（§7.4）：Figure 3 显示采样数 K 与性能正相关，K=5 时 GSM8K 和 Mind2Web 会下降；Figure 4 显示性能随迭代轮数上升，但到第 3 轮增益已经边际化。Figure 5 则把 MOAT 与独立训练的同 epoch 数基线对比：MOAT 持续上升，独立训练基线出现退化，论文归因于过拟合（§7.6）。
文本、两角色、线性管线、固定工具集；多模态、澄清/协商、更多角色都不在覆盖范围内。
论文的 Limitations 写得很直接：“Our framework is currently developed and evaluated exclusively on text-based scenarios, without exploring multimodal learning settings.” 图像、视频、跨模态工具调用都没有涉及。
结构上也只覆盖 planner–grounder 这一种线性管线。论文明确说，选择 plan–ground–execute 是因为它在多数多智能体框架里被广泛采用（§1）；但这也意味着，需要 grounder 反问 planner、需要多个 planner 协商、或者需要 reflection / tool retrieval 角色的场景，MOAT 没有给出机制。推断（依据：§3 的 s → a 单向管线；论文未实验反问或协商。）论文在 Conclusion 里把 tool retrieval / reflection 等更多专用智能体列为 future work，而不是本文已验证的结果。
Table 5 · 换 critic 模型的影响（Llama-2-7B，Mind2Web / WebShop；指标口径同 Table 1 的 Metric 列：Mind2Web 为 Step Success Rate，WebShop 为 Avg. Reward，Avg 可按两项算术平均复算）。↑/↓ 是相对 DS-Qwen-32B 行的相对变化；按表中数值复算，34.45 / 32.96 − 1 = 4.52%，与表里的 ↑4.52% 对上。
| Critic | Mind2Web | WebShop | Avg |
|---|---|---|---|
| DS-Qwen-32B（默认） | 32.96 | 60.63 | 46.80 |
| GPT-4o（更强） | 34.45 ↑4.52% | 60.78 ↑0.25% | 47.62 ↑1.75% |
| DS-Qwen-14B（更弱） | 31.80 ↓3.52% | 60.45 ↓0.30% | 46.13 ↓1.43% |
critic 的依赖是真实的：换成更强的 GPT-4o，Avg 从 46.80 升到 47.62（相对 +1.75%）；换成更弱的 DS-Qwen-14B，降到 46.13（相对 −1.43%）。论文的论点是：即使弱 critic 也还能超过已有基线，因为「判定动作是否到达最终答案」比生成动作简单（§7.5）。但这条结论仍依赖一个外部 critic，训练成本没有消失。
理论部分也要加限定。Lemma 5.1 的论证起点是 “Since PPL is negatively correlated with the true reward R(s,a)”；Lemma 5.2 则从「log-likelihood 提升 → PPL 降低 → reward 提高」推到非降。论文没有证明 PPL 与真实 reward 的负相关本身，也没有给出这种相关性的任务范围。推断（依据：Lemma 5.1/5.2 的原文把这两步当作前提直接使用，未附证明）因此「non-decreasing + 收敛」是建立在该前提上的结论，不是对任意 planner–grounder 组合的无条件保证。
数据规模也限制了外推。训练集只有三个 held-in 任务共 1800 条；held-out 是 SVAMP（1000）、WebShop（500）、HotpotQA（100），仍是数学、网页、问答三类，不是全新的领域。Table 2 的 Avg 可按三个任务指标值的算术平均复算（三个指标口径不同，不是同单位分数），未按样本量加权。推断（依据：Llama 的 held-in Avg 41.1 = (46.6 + 29.9 + 46.7) / 3；其余 Avg 同样按三项算术平均复算。）因此小样本任务（StrategyQA 300、Mind2Web 200）和大样本任务（GSM8K 1300）在 Avg 里权重相同；跨任务比较时要注意这一点。