TARL：多轮工具调用的信用分配，交给一个逐回合打分的 LLM 评审员

读完这节你应该知道：为什么多轮工具调用的奖励稀疏问题，不是「多训几次」就能解决。

论文以 τ-bench 为实验床：agent 与模拟用户多轮对话，通过 MCP 调用后端工具（查订单、换商品、取消订单等）。一条轨迹最多 30 个交互回合，上下文可到 32,768 token；环境在末端用规则 verifier 检查写操作是否与 ground-truth 一致，只返回 0/1。对一条 30 回合的轨迹，这个信号无法区分「第 6 回合换货时选错型号」（原文 Figure 3 的 −1 场景）和「第 20 回合语气不好」（后者是示意）。

Table 1 先给出轨迹级 RL 的基线：Qwen3-8B 的 Retail pass@1 是 42.6，GRPO 把它拉到 51.3、PPO 到 48.7、RLOO 到 47.0；但 pass@4 只有 27.0 / 26.1 / 24.3，论文据此说「sampling consistency remains limited」。更关键的是行为变化：GRPO 后 #Wait 从 14.6 降到 11.7、平均响应长度从 228 降到 204，模型更自信、更少自我反思。

读完这节你应该知道：PPO/GRPO/RLOO 与 TARL 的差别不在优化器，而在奖励的粒度。

值得注意的是，TARL 并没有替换 RL 优化器：它只是把奖励从「末端一个数」变成「末端一个数 + 每回合一个数」。GRPO 仍然做组内归一化，PPO 仍然用 GAE；变化发生在奖励合成与分配方式上。也正因如此，论文能把 TARL 同时接到 GRPO 和 PPO 上，并分别报告结果。

读完这节你应该知道：评审员看什么、分数怎么合成、四类轨迹怎么分，以及 GRPO/PPO 两种接法。

3.1 评审员看什么

每个「回合」包含两部分：agent 的 ReACT 式推理 + 工具调用，以及环境反馈（工具执行结果或用户回复）。judge 收到四类信息：任务 policy、用户指令、ground-truth tool-call 轨迹、完整对话轨迹。它按回合判断 agent 的推理与动作是不是偏离 ground-truth 的主要原因，并给 −1 / 0 / 1：

3.2 奖励合成与四类轨迹

末端二值奖励 R(τ) ∈ {0,1} 乘 10；重大偏差 −1 乘 5；其他回合乘 1/T，论文称这样能把逐回合奖励的总贡献限制在 5 分以内。四类轨迹的分数区间是：

这里有一处原文没有对齐：文字说其他回合「scaled by 1/T」就能把贡献限制在 5 分，但 T 个回合各 1/T 相加只有 1 分；要得到 Perfect 的 15 分（10 + 5），逐回合部分需要按 5/T 量级缩放。页面不替原文消解，只把「1/T」与「上限 5 分」两个说法并列；四类轨迹的分数区间按原文列表呈现。推断（依据：Perfect 15 = 10 + 5，与 1/T 的字面算术不一致）。

3.3 接 GRPO 与 PPO：一个直接加，一个要选分配粒度

GRPO：把逐回合奖励与末端奖励相加，得到整条轨迹的总分，再用组内均值/方差算优势（Eq. 5）。因为 GRPO 本来就是轨迹级，这个接法最直接。

PPO：PPO 在 token 级算优势，因此有两种分配方式：（1）Per-Turn Assignment，把每回合奖励只贴到该回合最后一个 token，由 GAE 反向传播到该回合之前的 token；（2）Trajectory-Level Assignment，把整条轨迹归一化成一个总分，均匀铺到所有 token。论文的实验结论是后者更稳：per-turn 分配导致训练不稳定，均匀分配在论文报告里更好；Table 2 里 PPO + Math + TARL 的 pass@1 是 53.0，比 PPO 的 48.7 高 4.3 个百分点。

3.4 混合任务：数学题不是为了数学分数

训练时在 Retail 任务之间交替插入中等难度的数学题（来自 DeepScaleR，筛整数答案）。论文的理由不是让 agent 学会做题，而是数学题会自然拉长 CoT、触发自我纠错，从而把「探索行为」正则化到工具任务上。§5.2 / Figure 5 显示：GRPO + Math 在测试集上的表现与 GRPO 基线相当；Table 2 只支持 Math + TARL 的 pass@1 从 51.3 到 57.4 这一项。论文的解释是：探索和信用分配必须同时改善，单独的探索不够。

读完这节你应该知道：这套训练需要什么环境、多少数据、哪些超参，以及哪些 token 不计 loss。

训练框架是 verl + RL Factory；batch size 128（32 个不同任务 × 4 条 rollout），训练到收敛（通常 200–300 步）。loss 只覆盖 agent 生成的 token，环境返回的 token 全部 mask，避免模型去拟合工具输出或用户回复。

读完这节你应该知道：judge 在流程中的位置，以及末端奖励与逐回合奖励在哪里汇合。

读完这节你应该知道：提升落在哪些 k、哪些设置没有提升，以及论文的百分比写法与表格点差如何对应。

6.1 文本任务：Table 2 的策略对比

四行分别是 pass@1–pass@4；柱高按固定上限 60 满格。GRPO 视图有三根柱（GRPO / +TARL / +MATH+TARL），PPO 视图有两根（PPO / +MATH+TARL）。

6.2 域内与跨域：Table 1 的 Retail / Airline

训练域 Retail 上，RL 的 pass@1 都高于基座；但 Airline 上 GRPO 的 pass@4 只有 4，低于基座的 20。论文把原因归为训练数据只有 3,000 条且只覆盖 Retail，探索策略没有迁移到 OOD。这是论文/TARL 的边界，不是「TARL 通用」的证据。

6.3 多模态：Table 3 的文本 / 语音评测

语音基线是 14.8，S&T 训练 + 语音评测的最好结果是 37.4，差 22.6 个百分点；文本评测从 7.8 到 36.5，差 28.7 点（相对 +367.9%）。TARL 在文本评测上把 GRPO + Math 的 31.3 提到 36.5（+5.2 点），在语音评测上把 34.8 提到 37.4（+2.6 点）。T-only 训练在语音评测上只有 32.2，比 S&T 低 5.2 点：论文据此说，只用文本微调可能丢失预训练的语音理解能力。

6.4 百分比口径：原文几处把点差写成了百分比

还要看两个「没有超过」：Table 1 的 GPT-4.1 在 Retail pass@1 是 60.9，高于 TARL 的 57.4；论文只说 TARL 的结果「competitive with capable closed-source models」，没有说超过 GPT-4.1。Table 3 的语音 37.4 也低于文本 agent 的 57.4，但两者来自不同基座模型、不同评测条件（Qwen2.5-Omni-7B vs Qwen3-8B），不能直接比较；多模态仍是弱项。论文还报告了几个失败尝试：只加数学题的 GRPO 测试集表现与 GRPO 基线相当；只更新 top-20% 高熵 token 的 GRPO+Entropy+TARL 训练奖励更低；让 judge 实时打断并强制自我纠错的 GRPO+Intervention 训练不稳定，KL 上升、entropy loss 下降，最终比基线更差（Figure 7）。

读完这节你应该知道：哪些结论能带走，哪些必须带上论文没有解决的条件。

最后，论文在贡献列表里写「The first demonstration of this framework to successfully train a multimodal voice agent through RL on interleaved speech-text interactions」。这是作者的主张，页面按「论文称」引用；论文没有报告独立复现或与同期系统的受控比较。混合任务、top-20% 熵更新、实时打断三种策略的对比也只在 Qwen3-8B / τ-bench 上做，换模型或换任务是否需要同样的设计，论文没有回答。