当前测试时扩展主要加长每一步的推理链。论文提出另一个轴：增加 agent 与环境的交互步数。在 WebArena 子集（62 题） 上，纯提示式的 check-again 就能把成功率从 23.81 提到 26.14（单次），而把同等算力用于加长 CoT 或 best-of-n 的增益更小。作者进一步提出 TTI：用逐步放开的交互视界课程 + online filtered BC 训练 Gemma 3 12B，在 WebVoyager 上达到 64.8，在完整 WebArena（812 题）上达到 26.1。
问题：只加长每步 CoT，不产生新信息。 Agent 在部分可观测、非平稳的网页环境中，必须通过点击、滚动、搜索来获取新信息；闭门思考只能重组已有上下文（§1、§4.2）。
方法：把最大交互步数当成课程。 TTI 从 h=10 开始，按乘性课程逐步放宽到 30，每一轮只保留成功轨迹做 filtered BC，并给近期轨迹更高权重（§5.2、Eq.5.2–5.3）。
结果：TTI 在 WebVoyager 64.8、WebArena 26.1。 比 zero-shot 的 55.8 / 18.3 高 9.0 / 7.8 个百分点；比固定 h=10 的 59.1 / 23.8 高 5.7 / 2.3 个百分点。乘性课程在 WebArena 子集 上 32.25，加性课程 29.50。
代价：只验证了网页域，且训练信号很弱。 用的是 filtered BC（只学成功轨迹、没有负梯度），不是 PPO/GRPO；交互变长会推高上下文长度；在 Amazon、GitHub 等域 TTI 反而低于基线（§6.1、§7）。
论文用 WebArena 上的受控实验把这两个轴拆开：同样的总 token 预算，是花在每步推理上，还是花在更多交互步上？
当前测试时扩展的主流做法，是在每一步动作前生成更长的思维链。论文指出，这对完全可观测、平稳的任务够用；但网页 agent 面对的是部分可观测和非平稳环境：价格会变、信息藏在后续页面里、按钮点下去才知道结果。无论 CoT 多长，模型都无法凭空得到环境里尚未展示的信息（§1、§3）。
作者先做了一个不训练任何模型的受控实验。测试平台是 WebArena 的一个子集：随机抽 62 个任务做测试，其余 750 个任务留给在线训练；测试时把最大交互步数设为 h=30，远高于多数任务平均约 6 步的需求。基座是 Gemma 3 12B，单次模型调用输出动作，不使用检索、验证器或其他外挂模块，因此性能差异只能来自交互步数或提示方式（§4）。
先看提示方式。直接输出动作（Action Only）只有 14.76；让模型先写一段 CoT 再动作，升到 23.81。作者还试了更复杂的提示，要求模型总结状态、评估进度、反思，但增益不明显：Complex CoT 为 23.33，反而略低于简单 CoT（0.48 个百分点）。于是后续实验默认使用简单 CoT（§4、Appendix D.3）。
接着是交互扩展。作者设计了一个纯推理时的 “check-again” 机制：agent 一旦发出任务完成信号，就追加提示「你刚说任务完成了，暂停一下，再看看页面，确认或修改答案」。可以从中等强度的 double-check 扩到 triple-check 甚至更多。结果显示，重复检查确实拉长了实际轨迹，并提高了多数 WebArena 域的成功率；在 double-check 后，agent 约有 25% 的概率改变动作（§4.1、Figure 2）。
但提示式扩展也有明显边界：反复要求检查会让模型困惑或幻觉，把本来正确的答案改错，Map 域就出现了性能下降。作者因此把这条路线定位为「有潜力，但不足以可靠地扩展交互」，真正的解法是训练 agent 学会在长视界里探索（§4.1、§4.2）。
论文把对照方法分成「每步多想」「每步多采样」「固定长视界训练」「按任务难度做课程」四类；TTI 的位置是把视界本身做成课程。
沿用 s1 一类做法，在初始 CoT 后追加「wait and think again」，强制模型继续推理，再输出动作。论文试了 1 到 4 次强制等待；agent 只有 15% 的概率改变动作，而且多数改变只是重排子任务，不是探索替代路径或纠错（§4.2）。
每一步采样 n∈{3,5,7} 个候选动作，用多数投票选一个。成本是基线的 n·h 倍，随交互步数线性放大；论文观察到继续增大 n 的收益递减，因此没有往上扫（§4.2）。
把最大步数固定成 h∈{5,10,20}，重点看 h=5 和 h=20，只保留成功轨迹做行为克隆。h=5 学得快但很快过拟合，评估时经常提前终止；h=20 的信用分配噪声大、学得慢，训练早期还会把「返回」「乱点链接」当成高奖励行为（§5.1、Figure 4）。
AutoWebGLM、WebRL 等按 LLM 生成指令的复杂度估计任务难度，先易后难。TTI 不估计任务难度，而是直接用「允许的最大交互步数」作为课程进度；交互长度只是难度的粗略代理，不需要给任务打难度标签（§2、§5.2）。
论文的关键判断是：固定长视界把「探索」和「信用分配」绑在一起。视界太短，只看到成功捷径；视界太长，早期大量随机探索把奖励信号冲淡。课程要解决的是这个矛盾，而不是单纯把 h 调大（§5.1）。
训练算法本身很简单：REINFORCE 的过滤版，只对成功轨迹做最大似然。复杂的是课程表。
把网页任务写成有限视界序列决策：环境在每一步给出观测 ot，策略 πθ 根据观测历史和动作历史输出动作 at，任务成功奖励为 1，否则为 0。TTI 使用最简单的 REINFORCE 变体：采样一条轨迹，如果最终成功，就最大化这条轨迹上每个动作的对数似然；失败轨迹直接丢弃（§3、§5.1、Eq.5.1）。
这种做法的好处是稳定：不会因为负梯度把模型推离数据分布，也不需要 critic。代价是样本效率受限于成功率——尤其在长视界早期，成功轨迹很少，能学的数据也少（§5.1、§7）。
设第 i 轮的最大交互步数为 hi，下界 hmin、上界 hmax。论文比较两种 schedule（§5.2、Eq.5.2–5.3）：
加性课程更保守，给 agent 足够时间把核心技能练稳；乘性课程更激进，假设 agent 能快速掌握基础，尽早接触需要探索的长视界。在 WebArena 子集上训练 10 轮后，加性课程成功率 29.50，乘性课程 32.25，高 2.75 个百分点。论文采用乘性作为默认（§5.2、Table 2）。
作者的解释是：乘性课程更早把 agent 暴露在长视界里，避免它过早过拟合「总走最短路径」的捷径行为。论文还说，在约 700 个训练任务上，TTI 比 Figure 4 中固定 h=20 的 agent 高近 3%（原文写 nearly 3%，未注明是点差还是相对口径），同时 10 轮内少用 40% 的训练步数；固定 h=20 的具体分数只画在 Figure 4，正文没有给数值（§5.2）。
实现上还有一个 replay buffer：每轮把成功轨迹存进去，并按新鲜度给更高权重。这样课程推进后，agent 不会立刻忘掉短视界阶段学到的基本技能（§5.2、Appendix C）。
要把 TTI 从 700 个任务的子集推到完整 benchmark，需要更多在线任务。论文采用 PAE 风格的合成任务生成：一方面用种子示例提示 LLM 生成任务，另一方面部署一个探索 agent 自由浏览网站，提出更接地气、更多样的任务。WebVoyager 侧得到 128K 个合成任务，覆盖约 20 个真实域；WebArena 自托管域得到 11K 个任务（§6）。
训练时用 Gemma 3 27B 做提示式验证器，输入动作历史和截图，判断轨迹是否成功。论文报告它与 WebArena 官方评估器的一致率为 88.9%。两个 benchmark 分别训练独立的 agent，避免把合成环境数据混进真实域 agent 的训练集（§6）。
论文给了训练超参和任务规模，但没有给美元成本、总 GPU 小时或 wall-clock；三组实验的轮数、学习率和 GPU 数并不相同。
基座是 Gemma 3 12B。观测包括任务目标、URL、页面可访问性树和带 set-of-marks 的截图；历史观测只保留最近 3 步以控制上下文，但保留全部动作历史。动作空间是 6 个离散动作：click、type、scroll、go back、search、stop（§3）。
三组实验共享 rollout_size=512、num_update_sample_per_iteration=512、AdamW、batch size 4（D.5/D.6 为 batch_size；E.3 为 batch_size_per_gpu）、梯度累积 2、评估视界 30；但轮数、学习率和 GPU 数不同（Appendix D.5、D.6、E.3），见下表。
rollout 用 vLLM 采样，训练用 DeepSpeed ZeRO-3，硬件是 NVIDIA H100。初期的 WebArena 子集实验也在这套配置上跑，评估视界固定为 30（§6、Appendix D.5）。
WebVoyager 有 427 个任务、13 个域，论文把 Google 搜索换成 Bing 以避开 ReCaptcha；WebArena 用完整 812 个任务。训练只用非测试任务，评测用 benchmark 官方评估器（§6、§6.3）。
| 实验 | 对应结果 | 轮数 | 学习率 | GPU | 视界 schedule |
|---|---|---|---|---|---|
| WebArena 全量 | Table 4 | 10 | 1e-6 | 4 | 10, 20, 20, 30, 30, 30, … |
| WebVoyager | Table 3、Figure 6 | 12 | 4e-6 | 6 | 10, 20, 20, 30, 30, 30, …（之后保持 30） |
| WebArena 子集 | Table 2、Figure 4/7 | 10 | 1e-6 | 4 | 乘性 10, 20, 30, 30, …；加性 10, 11, 12, … |
一个容易被忽略的成本是验证器：每轮 512 条轨迹都要由 Gemma 3 27B 读动作历史和截图并打成功/失败标签。论文说验证器与官方评估器的一致率是 88.9%，但没有报告验证器本身的 token 消耗或误判对训练的影响（§6）。
下图是 TTI 的在线回路，超参按 WebArena 全量实验（Appendix D.6）绘制。课程只改变每轮允许的最大步数，不改奖励、不改模型结构。
图中最值得注意的是「验证器」在回路里的位置：它不是只在最后打分，而是每轮都参与，决定哪些轨迹能进入训练。验证器把成功判定从稀疏的环境奖励变成了一个可批量调用的模型判断，这是 TTI 能在大规模合成任务上跑起来的前提推断（依据：§6 的验证器设计与 88.9% 一致率；论文未做去掉验证器的消融）；同时，88.9% 的一致率也意味着约一成的轨迹标签可能与官方评估器不同（§6）。
上图按 WebArena 全量配置：10 轮、lr 1e-6、4 张 GPU、schedule 10→20→20→30→30→30。WebVoyager 是 12 轮、lr 4e-6、6 张 GPU；WebArena 子集实验是 10 轮、lr 1e-6、4 张 GPU、schedule 10→20→30→30（Appendix D.5、D.6、E.3）。
先看两张主表，再看交互与每步推理的对照，最后看课程消融和训练动态。
Table 3 的 13 个域上，TTI 平均 64.8；zero-shot Gemma 3 12B 是 55.8，固定 h=10 是 59.1，固定 h=30 是 45.2。因此 TTI 比固定 h=10 高 5.7 个百分点，比固定 h=30 高 19.6 个百分点；固定 h=30 甚至低于 zero-shot，说明「允许更长」本身不等于「学会利用更长」（§6.1、Table 3）。
与公开数据训练的开源 agent 比，最强的先前结果是 PAE-LLaVa-34B 的 33.0，TTI 比它高 31.8 个百分点。Table 3 的 caption 写「improves over the best prior open-model, open-source data approach by 30%」，与表内点差 31.8 不完全对齐；页面按表内数值呈现，并保留原文的 30% 说法（Table 3）。UI-TARS-1.5 的 84.8 更高，但它使用私有、人工标注数据；论文的对比限定在「开源权重 + 开源合成数据」这一组（§6.1）。
| 方法 | 平均 | Allrecipes | Amazon | Apple | ArXiv | GitHub | ESPN | Coursera | Cambridge | BBC | Map | Search | HuggingFace | WolframAlpha |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| LLaVa-34B SFT | 22.2 | 6.8 | 26.8 | 23.3 | 16.3 | 4.9 | 8.6 | 26.8 | 67.4 | 16.7 | 12.2 | 23.3 | 20.9 | 38.1 |
| PAE-LLaVa-7B | 22.3 | 14.3 | 37.5 | 17.5 | 19.0 | 14.6 | 0.0 | 33.3 | 52.4 | 18.6 | 22.5 | 23.3 | 19.0 | 24.4 |
| PAE-LLaVa-34B | 33.0 | 22.7 | 53.7 | 38.5 | 25.6 | 14.6 | 13.6 | 42.9 | 74.4 | 39.0 | 22.0 | 18.6 | 25.6 | 42.9 |
| Gemma 3 12B（zero-shot） | 55.8 | 25.7 | 32.3 | 45.5 | 60.6 | 54.8 | 60.6 | 56.3 | 69.6 | 65.6 | 54.8 | 72.7 | 66.7 | 61.1 |
| Fixed h=10 | 59.1 | 25.7 | 74.1 | 51.5 | 75.7 | 70.9 | 44.1 | 59.3 | 66.7 | 50.0 | 41.9 | 60.6 | 75.5 | 72.2 |
| Fixed h=30 | 45.2 | 20.0 | 41.9 | 60.6 | 42.4 | 41.9 | 50.0 | 34.4 | 60.6 | 25.0 | 29.0 | 63.6 | 45.5 | 69.4 |
| TTI（Ours） | 64.8 | 57.1 | 48.3 | 69.6 | 66.6 | 45.2 | 56.3 | 46.9 | 85.2 | 81.2 | 66.7 | 72.7 | 75.7 | 79.4 |
分域看，TTI 在 Allrecipes 比固定 h=10 高 31.4 个百分点（57.1 对 25.7），在 Cambridge 比 zero-shot 高 15.6 个百分点（85.2 对 69.6）；论文推测，这可能因为信息密集的域更受益于延长探索。反过来，Amazon 上 TTI 的 48.3 比固定 h=10 的 74.1 低 25.8 个百分点，GitHub 上 45.2 比 zero-shot 的 60.6 低 15.4 个百分点。论文的观察是：这些域的基础模型本来就有较强的领域词汇知识，TTI 学到的探索行为（比如跳去 Bing 搜索、访问外部站点）反而引入噪声（§6.1）。
完整 WebArena 上，TTI 平均 26.1，zero-shot 是 18.3，固定 h=10 是 23.8，固定 h=30 是 19.0。TTI 比 zero-shot 高 7.8 个百分点（相对提升 42.6%），比固定 h=10 高 2.3 个百分点。论文指出 WebArena 的增益比 WebVoyager 小，推测原因可能是任务更复杂、每轮成功轨迹更少，且部分真实域动作在自托管环境里会因环境 bug 失败（§6.3）。
| 方法 | 平均 | Shopping | CMS | GitLab | Maps | |
|---|---|---|---|---|---|---|
| IBM CUGA（专有） | 61.7 | — | — | — | — | — |
| OpenAI CUA（专有） | 58.1 | — | — | — | — | — |
| ScribeAgent（GPT-4o + Qwen2.5 32B） | 53.0 | 45.8 | 37.9 | 73.7 | 59.7 | 56.3 |
| Fully Open-Source（Self-Improvement） | ||||||
| Learn-by-Interact（Codestral 22B） | 24.2 | — | — | — | — | — |
| AgentTrek（Qwen2.5 32B） | 22.4 | — | — | — | — | — |
| AutoWebGLM（ChatGLM3 6B） | 18.2 | — | — | — | — | — |
| NNetnav（Llama 3.1 8B） | 7.2 | 7.4 | 4.2 | 0 | 0 | 28.5 |
| Gemma 3 12B（zero-shot） | 18.3 | 26.7 | 8.7 | 30.9 | 5.5 | 27.7 |
| Fixed h=10 | 23.8 | 28.4 | 15.6 | 26.0 | 13.2 | 34.7 |
| Fixed h=30 | 19.0 | 25.7 | 9.7 | 29.8 | 8.7 | 28.57 |
| TTI（Ours） | 26.1 | 33.9 | 15.5 | 35.3 | 15.7 | 40.5 |
分域看，TTI 在 Maps 上 40.5，比固定 h=10 的 34.7 高 5.8 个百分点；在 Reddit 上 35.3 对 26.0，在 Shopping 上 33.9 对 28.4。CMS 是唯一的例外：TTI 15.5，固定 h=10 15.6，低 0.1 个百分点。Table 4 caption 说 TTI 在 CMS 上「especially better」，与表内这一格不完全对齐；更准确的说法是 TTI 在 CMS 上高于 zero-shot 的 8.7 和固定 h=30 的 9.7，但不及固定 h=10（Table 4）。
柱高公式（JS 的 pct(v, 50)）：round(v / 50 * 1000) / 10，即 1 个单位 = 2%，柱高最低 1.2%。抽三格核对：TTI Shopping 33.9 → 678/10 = 67.8%；Gemma Shopping 26.7 → 534/10 = 53.4%；Fixed h=10 CMS 15.6 → 312/10 = 31.2%。chart 数值标签按原表位数显示（Fixed h=30 的 Maps 为 28.57，不四舍五入到 28.6）。
Gemma vs TTI：平均 26.1 − 18.3 = 7.8 个百分点；5 个域逐格为 33.9 > 26.7、15.5 > 8.7、35.3 > 30.9、15.7 > 5.5、40.5 > 27.7，TTI 全部高于 Gemma。
Fixed h=10 vs TTI：平均 26.1 − 23.8 = 2.3 个百分点；Shopping 33.9 > 28.4、CMS 15.5 < 15.6（低 0.1）、Reddit 35.3 > 26.0、GitLab 15.7 > 13.2、Maps 40.5 > 34.7，只有 CMS 一格低于基线。
Figure 3 把总 token 预算相同的三种策略画在一起：交互扩展（check-again）的成功率随预算上升最快；budget forcing 在约 0.26 附近进入平台期；best-of-n 成本最高，增益却最小。作者的解释是：交互每一步都带来新信息，而更长的 CoT 只是重组已有信息（§4.2、Figure 3）。
Table 6 把各策略在 WebArena 子集上各施加一次（Table 6 caption 注明结果是 3 次运行的平均），基线是 CoT 的 23.81。check-again 单独用是 26.14（+2.33）；budget forcing 是 24.81（+1.00）；best-of-n 是 25.03（+1.22）。组合里最好的是 check-again + best-of-n，27.36（+3.55），比单独 check-again 再高 1.22 个百分点。注意 Table 6 全部是「各施加一次」；引言说提示式交互扩展能把成功率提到 ≥28%，那个数字来自多次 re-check 的 Figure 2/3，不在 Table 6 的单次组合里（§4、§6、Table 6）。
| 推理时策略（各一次） | Task SR (%) | 相对 Baseline |
|---|---|---|
| Baseline（CoT） | 23.81 | — |
| Check-again | 26.14 | +2.33 |
| Budget-forcing | 24.81 | +1.00 |
| Best-of-n | 25.03 | +1.22 |
| Check-again + Budget-forcing | 26.33 | +2.52 |
| Check-again + Best-of-n | 27.36 | +3.55 |
在 WebArena 子集、约 700 个训练任务、10 轮训练的设置下，乘性课程成功率 32.25，加性课程 29.50，差 2.75 个百分点。论文还报告乘性课程比固定 h=20 的 Figure 4 结果高近 3%（原文写 nearly 3%，未注明点差还是相对口径），并少用 40% 的训练步数；固定 h=20 的具体数值只在图中，正文没有列表（§5.2、Table 2、Figure 4）。
Figure 6 记录 TTI 训练过程中的行为变化。随着课程把最大视界推到 30，轨迹长度和 GoBack、Bing 动作的比例开始上升；与此同时，每步 CoT 的 token 数反而下降。论文的解读是：agent 自动把算力从「每步想更久」转移到「多走几步」，并且这种转移与成功率上升相关（§6.1、Figure 6）。
固定 h=10 的对照则相反：轨迹长度和探索动作持续下降，agent 学会尽快结束；固定 h=30 的轨迹长度过早飙升，成功率反而更差。Figure 7 把 check-again 加到 TTI 的中间 checkpoint 上：早期 checkpoint 受益更明显，因为此时 agent 还倾向于提前终止；训练后期收益变小，但仍为正，作者把它当作一个安全网（§6.3、Figure 7）。
最后是案例。强项是复杂的信息检索任务：例如找「4 星以上、50 条以上评论的苹果派配方烘焙温度」，agent 遇到无法关闭的弹窗后会换一个配方，再回到列表找到满足全部条件的选项；早期短视界训练时，它只会反复重试第一个配方。论文也指出它在简单、路径确定的任务上会直接完成、不会过度探索；真正的失败模式是：动作失败时把 Bing 搜索当成万能兜底、反复重置，而不是在目标域内恢复，且对最终动作的自验证不足。此外，在 Amazon、GitHub 这类基础模型已有强先验的域上，探索行为会引入噪声（§6.1、§6.2）。
论文自己列了失败模式和未来工作；下面把方法边界与结果口径分开写。
所有实验都在 WebVoyager / WebArena 上，基座都是 Gemma 3 12B。论文把机器人控制、开放世界计算机使用等域列为未来工作，但没有给出跨模型、跨域的泛化实验（§6、§7）。
TTI 用的是 online filtered BC，本质是 REINFORCE 的过滤版：失败轨迹被丢弃，不做负梯度更新。论文明确说这只是「第一选择」，并建议未来用 GRPO/PPO 或带价值函数的方法改善长视界的信用分配（§5.1、§7）。
观测历史只保留最近 3 步，但动作历史保留全部；视界继续加长时，上下文窗口和验证器的调用成本都会成为瓶颈推断（依据：§6 的 Gemma 3 27B 验证器每轮读动作历史和截图；论文只讨论上下文/记忆）。论文把记忆与上下文长度列为未来挑战，没有给出扩展到更长视界的成本曲线（§3、§7）。
失败案例分析显示，agent 会把 Bing 搜索当成万能退路，反复重置，而不是在目标域内做更细致的恢复；它也会在已经发现答案与任务要求不符时仍然提交（例如把 2021 年的仓库当成 2022 年的答案）。论文把这两点归为过度依赖重置和自验证不足（§6.2）。
结果口径上还有三处需要并列。第一，摘要/引言说「提升 9% 和 8%」——按百分点口径，§6.3 与 Table 4 的算术是 7.8 个百分点（18.3→26.1）；WebVoyager 的 9.0 也是百分点（55.8→64.8），不是相对提升。页面统一写「个百分点」，并保留原文的 9%/8% 说法。第二，Table 3 caption 的「by 30%」与表内 33.0→64.8 的 31.8 个百分点不完全对齐；页面按表内数值复算。第三，Table 3/4 的 caption 没有注明重复次数；Table 1 明确说结果平均 3 次，Table 3/4 没有同样的说明，因此页面不把小数点后的差异当作统计显著（Table 1、Table 3、Table 4）。
还有一个方法层面的限制：合成数据由基座模型自己生成，论文把它称为一种 self-improvement，但也承认它与真实、多样的人类交互数据仍有差距。这也可能是 TTI 与使用私有数据的 UI-TARS-1.5（84.8）之间存在差距的原因推断（依据：§6.1 的合成/私有数据对比；论文未做控制变量实验）；论文没有做实验来分离数据质量、模型规模和训练方法的影响（§6.1、§7）。