多轮 Agent 的 RL 训练有两种常见死法：轮数一开始就给大，模型陷入冗余推理和无效动作，训练崩溃；一直给小，探索变窄，性能撞天花板。 这篇论文把最大交互轮数做成单调递增的课程，并把环境、Agent、训练三块解耦成一个可并行 rollout 的框架。 代价是：规则清晰的模拟环境收益最大，开放网页和深度搜索仍落后顶级闭源模型。
AgentGym-RL 想做的是：不用 SFT 预热，直接让 Qwen2.5-3B / 7B 在五个环境里多轮交互，用终局奖励做 RL。 五个场景分别是 WebArena、Deep Search、TextCraft、BabyAI、SciWorld。
核心不是新损失函数，而是课程：先把最大交互轮数压小，让模型学会在少量轮次内完成任务；再按
ht+1 = ht + δh 逐步放开，逼它探索更长决策路径。
论文把这套方法叫 ScalingInter-RL。
结果分两类：ScalingInter-7B 在 TextCraft 上 91.00 对 o3 的 93.00，接近；在 BabyAI 和 SciWorld 上超过 o3； WebArena 和 Deep Search 仍有明显差距。论文摘要的说法是 “match or surpass commercial models on 27 tasks”，不是全面超越。
边界同样清楚：只在域内、数字环境、单智能体验证；Chem-Mix 这类任务对论文自己的三个模型仍是 0； 论文未报告 GPU 小时数，样本效率无法判断。
先建立共同认知：奖励只在轨迹末尾给出，轮数越多，信用分配越难，探索空间越大。
论文把 agentic task 建模成部分可观测马尔可夫决策过程（POMDP）：给定指令 u，Agent 根据当前状态
s 生成动作 a，环境返回观测 o 并转移到下一个状态；经过 N 轮交互后，
环境给出一个终局奖励 r(τ) ∈ [0,1]。中间轮次没有逐步奖励。
这把监督信号压到一条轨迹的末尾：同一个终局奖励要归因到几十个动作上，方差大；轮数越多，动作空间和观测空间越大， 稀疏奖励越难命中。论文的初步实验给出两种失败模式，正好对应两个极端。
一开始就给较大的最大交互轮数（例如 10），模型会进入冗余推理和无效动作的循环，最终训练崩溃、性能下降。
原文：“beginning with a large number of interaction turns often leads the model into redundant reasoning and unproductive actions, ultimately causing training collapse and degraded performance.”（§3.3）
一直限制在较小的最大交互轮数（例如 5），探索被压窄，模型学不到多样化的交互模式，后期遇到性能天花板。
原文：“constraining the number of interactions to remain consistently small tends to narrow exploration and limits the agent’s ability to master diverse patterns.”（§3.3）
所以问题不是「有没有 RL 算法」，而是怎样安排交互预算：让策略先学会基本技能，再逐步扩展决策路径。 这也是 Section 03 的课程方法要解决的核心矛盾。
两条路都能做出 demo，但都没有让模型通过与环境交互自己变强。
用 GPT-4o、o3 等闭源模型做规划、反思、角色分工，靠 prompt 和外部 workflow 把任务串起来。
卡点：底层模型没有被训练，能力不会随交互演化；依赖强大的闭源模型，成本高，也无法把能力沉淀到开源模型里。
收集专家轨迹，逐步模仿专家的动作，学习 API 调用、规划和反思。
卡点：专家数据昂贵、难规模化；专家没覆盖的情况学不会；论文的原话是 “the model struggles to self-improve through interactions with the environment”（§6）。
RL 路线已有单轮推理的成功案例（如 DeepSeek-R1 类工作），也有少量多轮 Agent 的尝试；论文认为后者受限于任务复杂度、 环境多样性，且优化稳定性不足（§1、§6）。在 test-time scaling 一侧，Zhu et al. [96] 探索了多种 agent test-time scaling 策略， 但没有研究 RL 中的 inference scaling；论文认为最接近的工作是 TTI [55]，它用 rejection sampling 教 Agent 把更多 compute 分配给交互，局限在 web navigation（§6）。
要同时满足：跨多种真实环境、不依赖 SFT 预热、支持主流 RL 算法、训练稳定可复现。AgentGym-RL 想填的就是这个缺口；ScalingInter-RL 则是为了让训练在长轮数下不崩。
方法的核心是一条递推式：每 Δ 步把轮数上限加 δh，直到环境允许的上限。
论文的目标仍然是最大化终局奖励：J(θ) = Eτ∼πθ[r(τ)]。
一条轨迹写成 τ = (a0, o1, a1, …, aK−1, oK)，
K 是交互轮数。课程给 K 加了一个上限 ht，并要求上限单调递增：
早期 h 小：Agent 只能在少量交互内完成任务，迫使它学会高效利用（exploitation），先掌握基本技能和简单任务。
后期 h 增大：允许更长的决策路径，鼓励探索、规划、反思和策略性回溯；论文把这种现象类比为 RLVR 中的 length-scaling。
论文强调这不是靠大量超参搜索：阶段切换点按原 RL 过程的总优化步数设置（§4.2）。 Figure 7 在 Deep Search 上给了三种策略的对照：固定 10 轮早期奖励更高但快速崩溃；固定 5 轮稳定但遇到天花板； ScalingInter 逐步放开，长期性能更高。
下面的示意器只实现课程递推式和 Appendix B 给出的环境上限。h1、Δ、δh 是页面自设的示意参数，不是论文的训练配置—— 原文只给了递推式、单调性、环境上限，以及“按总优化步数设切换点”的描述。
覆盖：§3.3 的递推式 ht+1 = ht + δh、单调递增、每 Δ 步更新；
Appendix B.1–B.5 给出的五个环境最大交互轮数（WebArena 15、Deep Search 4、TextCraft 20、BabyAI 20、SciWorld 20）；
以及“早期 exploitation、后期 exploration”的阶段行为。
未覆盖：论文没有给出 h1、δh、Δ 的具体取值，也没有给出 δh 的 adaptive 规则、阶段数量和“按总优化步数设切换点”的精确算法； 示意器用固定滑块代替。它不是论文训练曲线的复现，只是机制演示。
两处原文设置并列：§4.2 与 Figure 7 在 Deep Search 上用最大 10 轮和 5 轮做对照；Appendix B.2 写 Deep Search 的最大交互轮数是 4。 示意器采用 Appendix B.2 的 4 作为环境上限；原文没有说明这两组设置的关系。
JS 使用的公式是 h = min(h₁ + δ_h × Math.floor(t / Δ), cap)，其中 cap 来自环境选择。
阶段边界按已进入下一阶段计（t 是 Δ 的整数倍时，Math.floor 取商）。
参数组 A：Deep Search（cap=4），h₁=1，δ_h=1，Δ=100，t=350。
Math.floor(350/100)=3 → 1 + 1×3 = 4 → min(4, 4) = 4。页面应显示 4。
参数组 B：TextCraft（cap=20），h₁=2，δ_h=2，Δ=150，t=400。
Math.floor(400/150)=2 → 2 + 2×2 = 6 → min(6, 20) = 6。页面应显示 6。
把上方环境切到 Deep Search、滑块设为 A 组，或切到 TextCraft、滑块设为 B 组，读数应与这里逐位一致。
论文没有用 SFT 预热；训练细节大多在 Appendix B，页面把能查到的都列出来。
主实验的 backbone 是 Qwen2.5-3B 和 Qwen2.5-7B，从零开始做 RL，不做 SFT 预热。
主要算法是 GRPO；框架同时集成 PPO、RLOO、REINFORCE++，也支持 SFT、DPO 和 rejection sampling（AgentEvol）（§3.2.2）。
所有环境共用 KL 系数 1×10⁻³、采样温度 1.0；WebArena 每个 query 采样 4 条轨迹，其余环境 8 条。
Appendix B.1–B.5 · 各环境训练设置摘录
| 环境 | 场景 / 任务 | 最大交互轮数 | 学习率 | 每 query 轨迹数 | 数据规模 |
|---|---|---|---|---|---|
| WebArena | 网页导航（5 个子任务） | 15 | 5×10⁻⁷ | 4 | 372 训练 / 50 测试（排除 Content & Config） |
| Deep Search | 深度搜索（7 个数据集） | 4 | 1×10⁻⁶ | 8 | 每个数据集从 dev set 采样 400 例 |
| TextCraft | 数字游戏（Depth 1–4） | 20 | 1×10⁻⁶ | 8 | 4 个深度子集 |
| BabyAI | 具身任务（6 个子任务） | 20 | 1×10⁻⁶ | 8 | 6 个子集 |
| SciWorld | 科学实验（8 个子集） | 20 | 1×10⁻⁶ | 8 | 8 个子集 |
以上数字取自 Appendix B.1–B.5（轮数、学习率、轨迹数为原文数值；场景和子集为原文描述）。SFT 基线的学习率是 1×10⁻⁴，主表用的是 RL 设置；Deep Search 在 Appendix B.2 写的是 4 轮，而 §4.2/Figure 7 另有一组 5/10 轮的对照实验。
recursive crafting_tree 里列表结构冗余复制导致的内存泄漏（§3.2.3）。硬件是 NVIDIA A100 GPU 和 Ascend 910B NPU（Appendix B）；训练可跨多节点、多进程分布式执行（Appendix A）。 论文未报告总 GPU 小时数、单次训练成本或样本效率；Appendix B 只交代了硬件类型。这一点会影响“7B 模型很便宜”这类推断——页面不替论文补这个数。
环境通过 HTTP server–client 并行跑 rollout，训练模块消费轨迹并更新策略；课程只改 rollout 的最大轮数。
/observation、/available_actions、/step、/reset（Appendix A）。# Stage 1: Generate responses、# Stage 2: Prepare experience（compute log prob、ref log prob、advantages）、# Stage 3: Actor training。rollout 循环里每个 handler 记录 assistant message、observation 和 score，all_done 时提前结束。max_rounds，不改环境、Agent 或训练损失；它与具体算法（PPO/GRPO/…）的组合效果，论文没有给出单独消融。
论文把“可扩展、可复现”当作框架贡献的一部分：环境/Agent/训练三块可以独立替换，新的环境只需继承 BaseEnvClient 并实现
reset()、step()、observe()（§3.2.3）。训练管线支持多节点、多进程并行，并记录 policy entropy、KL divergence、
reward curve、rollout statistics 等诊断指标（Appendix A）。
五个 benchmark 的 Overall 放在一起看，结论不是「全面超过」，而是「两类环境、两种结果」。
Table 1–5 · Overall 列摘录（最后一列为该表最强对比模型；未列本文 3B 模型）
| Benchmark | Qwen2.5-7B-Instruct | AgentGym-RL-7B | ScalingInter-7B | OpenAI o3 | 最强对比模型 |
|---|---|---|---|---|---|
| WebArena | 9.76 | 22.00 | 26.00 | 34.00 | o4-mini 36.00 |
| Deep Search | 18.75 | 34.00 | 38.25 | 49.50 | o3 49.50 |
| TextCraft | 42.00 | 89.00 | 91.00 | 93.00 | Gemini-2.5-Pro 94.00 |
| BabyAI | 66.67 | 92.22 | 96.67 | 94.44 | o3 94.44 |
| SciWorld | 1.50 | 50.50 | 57.00 | 41.50 | o3 41.50 |
数字逐字取自 Table 1–5 的 Overall 列；任务子集见各原表。评测随机性（重复次数、种子、avg@k 等）原文未报告。Qwen2.5-7B-Instruct 是未做 agentic RL 的基座对照。
论文在 §1 还报告了一个汇总数字：用该框架训练的 Qwen-2.5-7B 平均提升 33.65 分。 这个数字没有在 Table 1–5 中逐项展开，页面只按原文转述，不把它当作可复算指标。
下面只放 Overall 分数，数值逐字取自 Table 1–5；柱长按 0–100 线性映射。切换标签可以看同一模型在不同环境里的位置。
所有 Overall 分数的范围都在 0–100，因此柱长直接取 width = value%，不做归一化、不做平滑。
例 1：WebArena 的 ScalingInter-7B 26.00 → 柱长 26.00%。
例 2：BabyAI 的 ScalingInter-7B 96.67 → 柱长 96.67%。
排序按当前 benchmark 的分数从高到低；切换标签时只换数据，不改映射规则。
1. Chem-Mix。§4.3 写 “The ‘Chem-Mix’ sub-task proved to be intractable, with every model, including our top performers, scoring zero.” 但 Table 5 的 Chem-Mix 列有非零值：GPT-4o 20.00、Qwen-Max 20.00、OpenAI o3 40.00、Qwen3-235B-A22B 20.00、Qwen2.5-72B-Instruct 20.00、 Llama-3.1-8B-Instruct 20.00、Llama-3.1-70B-Instruct 40.00 等；论文自己的 AgentGym-RL-3B、AgentGym-RL-7B、ScalingInter-7B 三行均为 0.00。
2. WebArena 的 AgentGym-RL-7B。§4.3 写它“achieved an overall score of 16.00%, matching the performance of GPT-4o”； Table 1 的 AgentGym-RL-7B 行是 22.00。页面表格采用 Table 1 的 22.00，并在正文保留 §4.3 的 16.00 说法。
3. TextCraft 的提升幅度。§4.2 写 ScalingInter-RL “surpasses the base model by 30 points”； Table 3 的 Qwen2.5-7B-Instruct 是 42.00，ScalingInter-7B 是 91.00，差 49.00 分。两个说法并列。
4. Deep Search 的轮数。§4.2 与 Figure 7 用最大 10 轮和 5 轮做对照；Appendix B.2 写 Deep Search 的最大交互轮数是 4。 页面在 §3 的示意器里采用 Appendix B.2 的 4，在 §03 和 §06 引用 Figure 7 时保留 5/10 的表述。
5. SciWorld 的 50.50 与 57.00。§4.2 写 RL “boosted the model’s score from 1.50 to 50.50”； Table 5 里 AgentGym-RL-7B 是 50.50，ScalingInter-7B 是 57.00。页面的 SciWorld 卡片和条形图采用 Table 5 的 ScalingInter-7B 57.00， §4.2 的 50.50 作为 AgentGym-RL-7B 的原文表述并列保留。
论文自己的表、案例和 future work 划出了四条边界。
WebArena 26.00 对 o3 34.00，差 8.00 分；Deep Search 38.25 对 o3 49.50，差 11.25 分（Table 1、Table 2）。WebArena 的差距集中在 GitLab & Reddit：20.00 对 80.00（Table 1）。论文自己写的是“a disparity almost entirely concentrated in the ‘GitLab & Reddit’ sub-task”（§4.3）。
Table 5 的 Chem-Mix 列里，AgentGym-RL-3B、AgentGym-RL-7B、ScalingInter-7B 全是 0.00；部分基线反而非零（o3 40.00、Llama-3.1-70B 40.00、GPT-4o 20.00 等）。§4.3 的文字却说 “every model ... scoring zero”。两处并列，页面不替原文消解。对论文方法而言，这个子任务是明确失败。
论文的 future work 原文列出三条：域内 → 新环境/新工具的泛化与迁移；数字任务 → 更长时程、物理世界任务；单智能体 → 多智能体 RL（§7）。论文还写 “Most existing studies—including ours—focus on relatively simple digital tasks.” 这套结果不能直接外推到真实机器人、自动驾驶或多 Agent 协作。
Appendix B 只写使用 A100 与 Ascend 910B，未报告 GPU 小时数或总计算量；因此无法判断“小模型 + 后训练更便宜”是否成立推断（依据：Appendix B 只列硬件类型，未列训练时长/能耗）。案例研究还展示了 over-interaction（Figure 16）和过早终止（Figure 15）等失败模式；论文说 RL 过程 “failed to instill the precision and efficiency required for optimal task completion”（§5.3）。
一句话总结：这篇论文给出的是一套在规则清晰的模拟环境里可复现的多轮 RL 训练配方，而不是一个在开放世界全面超过闭源模型的 Agent。 如果目标环境像 WebArena 一样开放，论文自己的数据说明提升有限且仍落后 o3；如果目标环境规则清晰、反馈可判定，ScalingInter-RL 的课程思路可以直接借鉴。