# The Illusion of Diminishing Returns：Measuring Long Horizon Execution in LLMs


规划与执行分离，本文的观点是长程规划任务中一个step的错误有可能导致后续agent看到自己犯的错误，反而使得后面也变成错误。不过进一步发现了具有思考能力的模型可以避免这一点。

---
![image.png](https://cdn.jsdelivr.net/gh/vllbc/img4blog//image/20250913163903.png)
![image.png](https://cdn.jsdelivr.net/gh/vllbc/img4blog//image/20250913163911.png)

这篇论文的核心论点极具颠覆性：**我们可能一直以来都用错了衡量大模型进步的“尺子”**。当整个行业都在为MMLU等基准测试中零点几个百分点的提升而欢呼或焦虑，并开始讨论“模型规模回报递减”的时代是否到来时，这篇论文提供了一个全新的视角。它指出，大模型真正的、且更具经济价值的潜力，并非体现在单步问答的准确率上，而是体现在其**可靠地执行长序列、多步骤复杂任务的能力**上，即“**长时域执行 (Long-Horizon Execution)**”能力。

论文首先从一个简单但违反直觉的数学事实出发：单步执行准确率上的微小、看似“回报递減”的提升，可以**复合**成模型能成功完成的任务长度上的**指数级**增长。这为继续投入资源进行模型扩展（Scaling）提供了强有力的理论依据。

> 正如论文在摘要中所说：
> > We start this work by observing the simple but counterintuitive fact that marginal gains in single-step accuracy can compound into exponential improvements in the length of a task a model can successfully complete.

为了验证这一点，作者们设计了一个巧妙的实验框架，将任务中的“**规划 (Planning)**”和“**执行 (Execution)**”两个环节解耦。他们发现，即便为模型提供了清晰的计划和所需的全部知识，模型在执行一连串简单的、重复性的步骤时，其准确率也会随着步骤增多而显著下降。

这引出了论文的第二个核心发现——“**自我调节效应 (Self-Conditioning Effect)**”。这个概念非常新颖，它指的是模型在上下文中看到自己先前犯下的错误后，会变得**更容易**在接下来的步骤中再次犯错。这就像一个负面循环，模型被自己不完美的历史“污染”了。这与人类从错误中学习的模式截然相反。作者们通过精巧的“反事实实验”证明了这种效应的存在，并指出它不同于已知的长上下文信息丢失问题，且仅仅扩大模型规模并不能有效缓解这一问题。

幸运的是，论文进一步发现，**“思考” (Thinking) 模型**，特别是那些通过CoT（思维链）或强化学习（RL）训练来生成中间推理步骤的模型，能够有效地**克服自我调节效应**。这些模型在执行新任务时，似乎能“独立思考”，而不受历史错误的过度干扰。

最终，论文在自己设计的基准上对当前最前沿的模型进行了测试，结果惊人。那些不具备或未使用“思考”能力的模型，哪怕是千亿甚至万亿参数的巨型模型，在单轮中也难以正确执行超过2个步骤。而具备“思考”能力的模型，其执行长度则实现了数量级的飞跃。例如，文中提到的DeepSeek R1能执行200步，而下一代模型如GPT-5（代号Horizon）更是能达到惊人的1000步以上，远超其他对手。

![图1 论文核心贡献总结](https://storage.googleapis.com/static.aurelle.ai/6d441113-d349-436f-b44c-35804369e802.png)

*图注：引自原论文图1，该图高度概括了论文的四大核心发现：（左上）单步准确率的微小提升带来任务长度的指数级增长；（右上）模型会因历史错误而自我调节，导致后续表现下降；（左下）扩大模型规模能有效延长任务执行长度；（右下）引入“思考”机制能极大提升任务执行长度，并使模型更不易受自我调节效应影响。*

总而言之，这篇论文不仅仅是提出了一种新的评估方法，它更像是一篇“檄文”，呼吁整个AI研究和产业界将目光从短任务的“智商测试”转向长时域任务的“可靠性工程”。它为模型扩展的经济价值提供了新的论证，并指明了提升模型在复杂代理（Agent）任务中实用性的关键方向——克服执行过程中的累积性失败。

接下来，我将按照您提出的六个问题，对论文进行更详细的拆解分析。

### 1. 论文的研究目标是什么？ 想要解决什么实际问题？这个问题对于行业发展有什么重要意义?

*   **研究目标**：论文的核心研究目标是**建立一个新的评估框架来衡量和理解大语言模型在长时域任务中的执行能力**，并挑战当时学术界和工业界普遍存在的“模型扩展回报递减”的观点。
*   **解决的实际问题**：
    1.  **评估的错位**：当前的流行基准（如MMLU）主要衡量模型单轮、知识驱动的问答能力。然而，LLM最有价值的应用场景，如**自主代理 (Autonomous Agents)**、自动化软件工程、科学研究助手等，都需要模型在多个步骤中连续、可靠地工作。现有评估体系无法反映模型在这方面的能力，导致我们可能低估了顶尖模型的真实进展和潜力。
    2.  **投资的疑虑**：训练越来越大的模型需要消耗惊人的计算资源和资金。如果只能在现有基准上看到微不足道的提升，自然会引发“继续投入是否值得”的疑问。论文试图解答这个问题，为持续的研发投入提供新的、更具说服力的理由。
*   **对行业发展的重要意义**：
    *   **重新定义“更好”的模型**：它推动行业从“知识更渊博”的模型转向“做事更可靠”的模型。这对于所有致力于构建AI Agent的公司来说，是方向性的指引。模型的价值将更多地体现在其能自主完成多长的任务流，而不是能回答多少难题。
    *   **指明Agent技术的核心瓶颈**：论文明确指出了“执行失败”和“自我调节效应”是阻碍Agent走向实用的关键障碍。这为研究人员提供了清晰的靶子，未来的研究可以更集中地解决如何提高执行的鲁棒性、如何进行有效的错误检测与修正等问题。
    *   **为模型扩展提供新的“商业案例”**：通过证明单步准确率的微小提升能带来任务长度的指数级回报，论文雄辩地论证了“大力出奇迹”在Agent时代依然有效。这会增强产业界继续投资于更大、更强基础模型的信心。

### 2. 论文提出了哪些新的思路、方法或模型？跟之前的方法相比有什么特点和优势？

论文的核心创新在于其思路和实验方法，而非提出了一个新模型。

*   **新思路一：重新审视回报递减——复合效应**
    *   **内容**：论文的核心观点是，即使单步准确率 $p$ 的提升是递减的，但模型在任务成功率大于 $s$ （例如50%）的情况下能够执行的长度 $H_s$ 与 $p$ 的关系是 $H_s(p) = \ln(s)/\ln(p)$。当 $p$ 趋近于1时， $p$ 的微小增加会导致 $H_s$ 的巨大增长。
    *   **优势**：这个思路将评估的焦点从一个**线性**的准确率数字转移到了一个**非线性**、**指数增长**的能力维度上，这更贴近复杂任务的本质——“一招不慎，满盘皆输”，因此对单步的可靠性要求极高。

*   **新思路二：自我调节效应 (Self-Conditioning Effect)**
    *   **内容**：这是一个全新的概念，指模型会根据自己生成历史中的错误来“调整”自身，导致未来更容易犯错。
    > We hypothesize that as a significant fraction of model training is to predict the most likely next token given its context, conditioning models on their own error-prone history increases the likelihood of future errors.
    *   **特点与优势**：之前的研究更多关注长上下文导致的“信息遗忘”，而“自我调节”揭示了一种更深层次的、与模型**生成行为模式**相关的失败机制。它解释了为何LLM在重复性任务上表现不如传统计算机，因为它们不是在执行确定性程序，而是在进行一种“角色扮演”——扮演一个会犯错的自己。

*   **新方法：解耦规划与执行的实验设计**
    *   **内容**：为了精准测量“执行”能力，作者设计了一个**键值对字典求和**的简单任务（见下图）。在这个任务中：
        1.  **知识被外化**：字典在上下文中直接提供，模型无需从参数中回忆知识。
        2.  **规划被消除**：每一步要加哪个键，由用户直接给出，模型无需自己规划。
    *   **特点与优势**：这种“控制变量法”的设计非常巧妙，它排除了规划能力、知识储备等混杂因素的干扰，使得实验结果能够清晰地归因于模型的**纯粹执行能力**。这是一个非常干净、可复现、可无限生成数据的研究范式，对于基础能力的研究极具价值。

![图2 实验设计示意图](https://storage.googleapis.com/static.aurelle.ai/f91c94fc-0870-43b9-b883-99b5a37e51c3.png)
*图注：引自原论文图3，展示了将长时域任务抽象为“检索-组合”步骤，并通过一个简单的字典求和任务来隔离和研究LLM的执行能力。*

### 3. 论文通过什么实验来验证所提出方法的有效性？实验是如何设计的？实验数据和结果如何？

论文通过一系列精心设计的实验来层层递进地验证其假设。

*   **实验一：验证模型扩展对长时域执行的收益**
    *   **设计**：使用Qwen3和Gemma3两个模型系列，涵盖从4B到32B的多种尺寸。在字典求和任务上，让模型执行连续多轮（每轮加一个键），观察任务成功率随轮数增加的变化。
    *   **数据与结果**：如图4(c)所示，模型的**Horizon Length**（任务成功率降至50%时的轮数）与模型大小呈现出清晰的**正相关**关系。例如，Qwen3-32B的Horizon Length远高于Qwen3-4B。这有力地证明了**扩大模型规模能显著提升长时域执行能力**，即使在这样一个无需复杂推理的简单任务上。

*   **实验二：验证并拆分“自我调节效应”**
    *   **设计**：这是一个非常关键的“反事实”实验。研究者在评估模型第100轮表现时，**人为地修改了前99轮的历史记录**。他们控制历史记录中的**错误率**（Induced Error Rate），从0%（完美历史）到100%（完全错误的历史）不等。
    *   **数据与结果**：如图5所示，结果非常清晰：
        1.  **长上下文效应**：即使在0%错误率的“治愈”历史下，模型在第100轮的准确率也低于第一轮，这部分性能下降归因于长上下文处理的固有挑战。
        2.  **自我调节效应**：随着历史记录中注入的错误率增加，模型在第100轮的准确率**持续、显著地下降**。这无可辩驳地证明了模型确实会因为看到历史错误而表现得更差。
        3.  **模型扩展无法解决**：一个令人惊讶的发现是，即使是像Kimi-K2和DeepSeek-V3这样的前沿大模型，虽然在“治愈”历史下表现优异（基本解决了100轮内的长上下文问题），但它们**同样易受自我调节效应的影响**。

*   **实验三：验证“思考”机制的有效性**
    *   **设计**：
        1.  **对比自我调节**：对具备“思考”能力的Qwen3模型重复实验二。
        2.  **单轮最大执行长度基准测试**：设计了一个单轮任务，但要求模型一次性处理K个键值对的求和。通过二分查找，找到每个模型能以80%以上准确率处理的最大K值。
    *   **数据与结果**：
        1.  如图6所示，“思考”模型**完全免疫了自我调节效应**。无论历史错误率多高，它们在第100轮的准确率都保持稳定。
        2.  如图7所示，在单轮最大执行长度测试中，**“思考”与否造成了天壤之别**。不使用思维链的模型（如Deepseek V3）连K=2都难以完成，而其经过RL训练的“思考”版本Deepseek R1能完成200步。GPT-5更是达到了1024步。这凸显了序列化的测试时计算（即“思考”）对于解决序列化任务的极端重要性。

### 4. 结合大模型领域的当前学术理解，未来在该研究方向上还有哪些值得进一步探索的问题和挑战？

这篇论文为长时域执行和Agent研究打开了新的大门，催生了诸多值得探索的方向：

*   **挑战与问题**：
    1.  **主动的自我纠正 (Self-Correction)**：论文中的模型是“犯了错就一路错下去”。未来的关键挑战是让模型具备**在执行过程中检测、反思并修正自身错误**的能力。这需要模型有更强的元认知（meta-cognition）能力。
    2.  **从简单执行到复杂工具使用**：论文中的“执行”是简单的数学运算。真实Agent的执行涉及调用API、操作浏览器、与文件系统交互等。如何将这种对执行鲁棒性的研究扩展到**多样化、有副作用的工具使用**场景，是一个重要问题。
    3.  **非马尔可夫任务的执行**：论文的任务是**马尔可夫**的（当前状态只依赖于前一状态）。但许多真实任务（如长期对话、代码项目维护）需要模型记忆和利用遥远历史中的信息。论文中提到的“滑动窗口”上下文管理方法在这种场景下会失效，需要更根本的记忆机制创新。
    4.  **探索“思考”的本质**：论文证明了“思考”有效，但其背后的机制仍需深究。是强化学习带来的目标对齐？还是思维链本身提供的“抓手”和“草稿纸”？深入理解其工作原理，可能催生出更高效、更可靠的推理和执行方法。

*   **新技术和投资机会**：
    *   **Agent可靠性工程**：围绕如何提升Agent执行长任务的可靠性，会催生一系列新技术，例如：Agent的“单元测试”和“集成测试”框架、执行过程的监控与可观测性工具、失败任务的自动根因分析等。
    *   **下一代模型架构**：自我调节效应可能暗示了标准Transformer架构在处理长序列生成任务时的固有缺陷。这可能激励对新架构的探索，例如混合了循环机制（RNN-like）、具备显式外部记忆或状态管理模块的架构。
    *   **Agent专用的评估基准**：会出现更多像本文一样，但更贴近真实世界复杂度的长时域任务基准。投资于构建和维护这些高质量基准的公司将占据有利生态位。
    *   **强化学习与过程监督**：对“思考”模型有效性的证明，将进一步推动**过程监督 (Process Supervision)** 和**基于结果的强化学习 (RLAIF)** 等训练技术的发展，因为它们是塑造模型可靠执行行为的关键。

### 5. 退一步，从批判的视角看，这篇论文还存在哪些不足及缺失？

尽管这篇论文极具洞见，但从批判性角度看，仍存在一些局限和待验证之处：

*   **任务过于简化和“人造”**：这是最主要的局限性。键值对求和任务虽然能干净地分离出“执行”能力，但它与真实世界任务的复杂性相去甚远。在真实任务中，状态更新、错误影响、动作空间都远比这复杂。因此，**在该任务上的成功是否能直接泛化到真实Agent任务中，仍需打一个问号**。它是一个必要条件，但远非充分条件。
*   **对“思考”的解释不够深入**：论文观察到“思考”模型能修复自我调节效应，并给出了一些推测（RL降低了语言建模的倾向性、独立思考等），但缺乏更深入的机制性探究。这使得“思考”在文中更像一个有效的“黑箱”，而非一个被完全理解的原理。
*   **模型覆盖范围有限**：论文中的扩展定律和自我调节效应主要基于Qwen3和Gemma3两个模型家族进行分析。虽然这两个系列很有代表性，但将结论推广到所有大模型架构（如Llama系列）仍需更多验证。
*   **对前沿模型的引用可能存在推测性**：论文中提及了GPT-5、Claude-4-Sonnet等模型及其具体性能数据，并给出了2025年的发布时间。在学术论文中，这通常是基于当时可得信息或为了说明数量级而设置的例证。我们需要意识到这些数据可能并非官方发布的最终性能，对其应持审慎态度。

### 6. 我希望从这篇论文中找一些拿来即用的创新想法，我应该从这篇论文中重点学什么？有哪些启发？

对于希望从中获得实践启发的您，以下几点是核心的学习内容：

*   **核心启发一：转变你的评估范式**
    *   **学什么**：在任何涉及多步骤流程的应用中（无论是聊天机器人、代码助手还是复杂的Agent），**不要再仅仅依赖单轮交互的准确率作为最终评估指标**。
    *   **怎么用**：设计端到端的、能反映整个工作流成功率的测试用例。衡量模型“**在连续N步之后不出错的概率**”，这个指标远比单步正确率更有价值。这篇论文的Horizon Length ($H_s$)就是一个可以直接借鉴的理念。

*   **核心启发二：警惕并管理“自我调节效应”**
    *   **学什么**：认识到LLM在长序列任务中会“自我污染”。一次失败不仅是单点问题，它还会增加后续失败的风险。
    *   **怎么用**：在你的Agent设计中，引入**主动的状态管理和错误处理机制**。例如：
        *   **上下文清理**：对于马尔可夫任务，可以像论文附录A.2中那样，定期清理历史上下文，只保留最近的状态，打破负反馈循环。
        *   **显式状态传递**：不要让模型从庞杂的对话历史中隐式推断当前状态，而是在每一步都以结构化的形式（如JSON）明确地传入当前状态。
        *   **优先选择“思考”模型**：尽可能选择那些为推理和Agent任务进行过优化的模型（例如通过RL训练的模型），因为它们天生对此问题有更强的鲁棒性。

*   **核心启发三：借鉴“隔离研究”的科学方法**
    *   **学什么**：论文解决问题的方法论本身就极具价值。当面对一个复杂的系统性失败时，学习如何**将问题分解为相互独立的子模块**（如规划、知识、执行），然后设计实验**单独、干净地测试每个模块的能力**。
    *   **怎么用**：当你的Agent项目遇到瓶颈时，不要笼统地说“它不够智能”。尝试定位失败是在哪个环节：是没规划对？是知识不足？还是像这篇论文揭示的，计划和知识都对了，但就是“手滑”执行错了？精准的归因是有效优化的前提。

*   **需要补充的背景知识**：
    *   **Scaling Laws**：了解一下由Jared Kaplan等人在2020年提出的开创性工作，理解模型性能如何随计算、数据和参数量扩展。
    *   **思维链 (Chain-of-Thought, CoT)**：熟悉其基本原理，即通过引导模型输出中间推理步骤来提升复杂问题的解决能力。
    *   **AI Agent框架 (如ReAct, Toolformer)**：了解当前主流的Agent是如何将LLM的“大脑”（推理）与“双手”（工具）结合起来工作的。
    *   **长上下文模型评估**：了解“大海捞针 (Needle in a Haystack)”等测试，并理解它与本文所关注的**长输出 (Long Output)** 生成的区别。前者关注输入信息的提取，后者关注输出序列的连贯性和准确性。

希望这份详尽的解读能帮助您深入理解这篇论文的精髓，并从中获得有价值的启发。