# Chain-of-Agents：End-to-End Agent Foundation Models via Multi-Agent Distillation and Agentic RL

一个agent模拟多agent。将多种能力内化到一个agent中。

***

### 论文深入解读

在人工智能领域，我们正目睹一个关键的转变：从追求更大、更全能的单一大型语言模型（LLM），转向构建能够协同解决复杂任务的**多智能体系统（Multi-Agent Systems, MAS）**。例如，让一个“规划智能体”负责拆解任务，一个“研究智能体”负责搜集资料，一个“编码智能体”负责编写代码，它们通过对话协同工作。这种方式在处理深度研究、软件开发等复杂任务时展现了惊人的潜力。然而，正如论文开篇所指出的，现有的多智能体系统存在几个致命缺陷：
1.  **计算开销巨大**：多个智能体（通常是多个独立的LLM实例）之间的反复通信会消耗海量的计算资源和时间。
2.  **泛化能力差**：这些系统高度依赖于人工设计的提示（Prompt）和固定的工作流，一旦任务领域或流程发生变化，就需要重新进行繁琐的工程调优。
3.  **无法进行数据驱动的学习**：最关键的是，系统的核心——那些作为智能体的LLM——通常是预训练好后固定不变的。整个系统无法从解决任务的经验中学习和进化，其性能提升受限于“提示工程”而非“数据驱动”。

为了解决效率问题，学术界提出了另一条路径：**工具集成推理（Tool-Integrated Reasoning, TIR）**。这种方法通过微调，让单个LLM学会使用外部工具（如搜索引擎、计算器）。其典型的模式是**ReAct (Reasoning and Acting)**框架，即“思考-行动-观察”的循环。TIR模型虽然更高效，但论文敏锐地指出，它们简单的线性循环模式“无法支持多智能体系统中的复杂协作”。

正是在这个背景下，这篇论文抛出了其核心贡献——**智能体链（Chain-of-Agents, CoA）范式**。CoA的构想极具颠覆性：它并非在外部运行多个智能体，而是在**一个单一的基础模型内部，模拟出多智能体的协作生态**。模型在推理过程中，会根据任务需要，动态地“激活”不同的内部角色，如“思考智能体（Thinking Agent）”、“规划智能体（Plan Agent）”、“搜索智能体（Search Agent）”和“代码生成智能体（Code Generate Agent）”等。

> 我们可以通过论文中的图2直观地理解其差异。传统的TIR如同一个工匠，遵循“思考-拿锤子-观察结果”的固定流程。而CoA则像一个高效的指挥官，在自己的大脑中快速调度不同的专家角色——“规划专家，请拆解任务；搜索专家，请查找资料；反思专家，请评估当前方案”，整个过程一气呵成，无需昂贵的外部通信。



为了让模型学会这种复杂的内部协作能力，论文提出了一套同样创新的两阶段训练框架：

**第一阶段：多智能体知识蒸馏（Multi-Agent Knowledge Distillation）**
这是论文方法论的精髓所在。手动创建高质量的、包含多智能体协作的训练数据极其困难。作者们想出了一个绝妙的办法：让一个现成的、强大的“教师”多智能体系统（他们使用了开源的OAgents系统）去解决大量任务。然后，他们像录制“教学视频”一样，将“教师”系统中各个智能体的完整交互、思考、行动轨迹记录下来。最后，通过一个巧妙的转换过程，将这些复杂的、并行的、多回合的协作轨迹，“蒸馏”成一个单一模型可以学习的、线性的CoA格式序列。

> 论文在图3中展示了这一过程。一个复杂的任务，在OAgents中可能需要多个智能体之间数十次的通信和调用，而经过蒸馏后，它变成了一段包含`<plan>`, `<think>`, `<tools>`, `<reflection>`等结构化标签的文本序列，可以直接用于对AFM进行**监督微调（Supervised Fine-tuning, SFT）**。

这个过程不仅解决了训练数据的来源问题，更重要的是，它将一个复杂多智能体框架的设计和能力，“迁移”到了一个单一、高效的模型中。为了确保“教学质量”，他们还设计了**渐进式质量过滤（Progressive Quality Filtering）**机制，只保留那些复杂的、高质量的、包含自我反思和错误修正的成功轨迹。

**第二阶段：智能体强化学习（Agentic Reinforcement Learning, RL）**
在模型通过SFT掌握了基本的协作模式后，作者们利用强化学习对其进行“实战演练”和“能力打磨”。他们让模型在真实环境中执行任务，并根据最终结果的好坏给予奖励或惩罚。例如，在网页任务中，他们使用一个更强大的模型（LLM-as-a-Judge）来判断答案的正确性；在编程任务中，则直接以代码是否通过所有测试用例作为奖励标准。通过这种方式，模型不再是简单地模仿“教师”的轨迹，而是学会了如何根据环境的反馈自主优化策略，以达成最终目标。

论文的实验部分极其详尽和令人信服。他们在网页智能体（如**GAIA**、**BrowseComp**）和代码/数学智能体（如**AIME25**、**LiveCodeBench**）等多个极具挑战性的基准上进行了测试。实验结果全面展示了AFM的优越性：
*   **性能卓越**：在几乎所有测试基准上，AFM都取得了新的SOTA（State-of-the-art）成绩。例如，在公认难度极高的GAIA基准上，AFM (32B) 取得了**55.3%**的成功率，显著超过了之前的SOTA模型WebSailor (53.2%)，并逼近了基于GPT-4.1的复杂多智能体系统OAgents (58.3%)。在AIME25数学竞赛基准上，AFM更是取得了**59.8%**的解题率，相比之前的最佳TIR模型ReTool (49.3%)，实现了超过10%的绝对提升。
*   **效率惊人**：这是AFM最引人注目的优势之一。论文图5的数据显示，在解决GAIA任务时，相比传统的多智能体系统OAgents，AFM的**token消耗量降低了84.6%**，同时工具调用次数也大幅减少。这意味着AFM在实现顶级性能的同时，其推理成本和延迟也大大降低，使其在实际应用中更具可行性。
*   **强大的泛化能力**：论文还展示了一个有趣的实验：一个只在代码和数学任务上训练的AFM，在不经过额外训练的情况下，能够直接理解并正确使用它从未见过的网页搜索工具来解决问题，这证明了CoA范式具备良好的零样本泛化能力。

总而言之，这篇论文为AI Agent的发展描绘了一幅清晰且可行的蓝图。它通过“智能体链”范式，巧妙地在单一模型中统一了多智能体系统的强大能力与端到端模型的高效可训练性。其“多智能体知识蒸馏”方法为训练这类复杂模型提供了一套行之有效的解决方案。最终诞生的Agent Foundation Models，在性能和效率上的双重突破，无疑将推动AI Agent从学术研究走向更广泛的实际应用。通过全面开源模型、数据和代码，作者们也为整个社区提供了坚实的基石。

***

接下来，我将针对您提出的六个问题，进行更详细的解读。

### **一、研究目标与实际问题**

*   **研究目标**：
    本文的核心研究目标是创建一种全新的AI智能体架构——**智能体基础模型（Agent Foundation Models, AFMs）**。这种模型旨在能够在一个统一的、端到端的框架内，原生支持并高效执行复杂的、多步骤、多角色的问题解决流程，从而克服现有智能体范式的根本性限制。

*   **想要解决的实际问题**：
    论文旨在解决当前AI智能体领域的两大主流技术路线——**多智能体系统（MAS）**和**工具集成推理（TIR）**——分别存在的瓶颈：
    1.  **解决多智能体系统（MAS）的“三高一低”问题**：即**高计算开销**、**高工程复杂度**、**高维护成本**和**低学习效率**。传统MAS通过组合多个LLM来模拟团队协作，虽然功能强大，但在实际部署中过于笨重、昂贵且难以优化。
    2.  **解决工具集成推理（TIR）的能力上限问题**：TIR模型（如基于ReAct的模型）虽然高效，但其简单的“思考-行动-观察”模式不足以支撑复杂的协作逻辑，例如任务的并行处理、多角度的批判性反思、或者在多个专业工具间进行灵活调度。它本质上是一个“单线程”的工作模式。

*   **问题的重要性与行业意义**：
    这个问题对于AI行业的发展至关重要。当前，我们正从“模型能力”时代迈向“应用智能”时代。无论是打造能自主完成市场调研报告的AI分析师，还是能独立开发、测试、部署软件的AI程序员，都需要AI具备超越简单问答和工具调用的复杂协作与规划能力。
    > "However, the current TIR paradigm cannot train LLMs to support multi-agent systems in an end-to-end fashion."
    这篇论文的工作，恰好打通了从“强大但笨拙”的MAS到“高效但简单”的TIR之间的断层，提出了一条**兼具二者之长**的中间道路。它使得构建**可扩展、可学习、经济高效**的通用AI助手成为可能，极大地加速了AI Agent技术从实验室原型走向商业化应用的进程。

### **二、新思路、方法与模型**

*   **核心新思路：智能体链（Chain-of-Agents, CoA）范式**
    CoA是本文最核心的理论创新。它重新定义了“多智能体协作”的实现方式。
    *   **特点**：与传统MAS在“外部”运行多个模型实例不同，CoA是在“内部”通过一个**统一模型**的**单次解码过程**来完成协作。模型学会了在生成文本时，根据上下文动态切换到不同的“角色”或“功能模块”，如`<plan>`、`<reflect>`、`<search>`等。这些角色就像是模型大脑中的不同“专家”，由一个更高层次的“思考智能体”进行统一协调。
    *   **优势**：
        1.  **高效性**：消除了多个LLM实例间的网络通信和API调用开销，所有协作都在模型内部完成。
        2.  **连贯性**：由于所有信息都存在于单一模型的上下文中，避免了MAS中因信息传递不完整或上下文丢失导致的问题。
        3.  **可训练性**：最关键的优势是，整个协作过程是端到端可微的（differentiable），因此可以通过SFT和RL等方法进行整体优化，让模型从数据中学习如何更好地“协作”。

    论文中的**表1**清晰地对比了不同范式的优劣，只有CoA在**工具集成、端到端执行、多智能体协作**和**数据中心优化**这四个维度上全部实现了支持。

*   **核心新方法：多智能体知识蒸馏 + 智能体强化学习**
    为了实现CoA范式，论文提出了一套创新的训练方法。
    *   **多智能体知识蒸馏**：
        *   **特点**：这是一种新颖的**“行为级”知识蒸馏**。它不是简单地让学生模型模仿教师模型的输出概率分布，而是让学生模型学习教师系统（OAgents）在解决问题时的**整个决策链和协作模式**。
        *   **优势**：
            > "Specifically, we use a multi-agent system to solve these agentic tasks and convert the successful trajectories into CoA-compatible ones."
            这种方法巧妙地利用了现有SOTA系统的能力来自动化地生成高质量、高复杂度的训练数据，解决了复杂智能体训练数据稀缺的核心难题。同时，通过**渐进式质量过滤**，如对包含**`<reflection>`**和**错误修正**的轨迹进行上采样，确保了模型学到的是鲁棒且深刻的推理能力。

    *   **智能体强化学习（Agentic RL）**：
        *   **特点**：在SFT之后引入RL，让模型超越“模仿”，学会“为目标而优化”。
        *   **优势**：RL使得模型能够探索在SFT数据中未曾见过的更优解。例如，在代码生成任务中，奖励函数直接与代码能否通过所有测试用例挂钩。这种以最终任务成功为导向的优化，能有效提升模型在真实场景下的鲁棒性和问题解决能力。

### **三、实验验证**

*   **实验设计**：
    论文的实验设计非常严谨和全面，遵循了科学的评估方法：
    1.  **多维度基准**：选取了涵盖**网页信息检索（Web Agent）**和**代码与数学推理（Code Agent）**两大类、近20个不同难度和类型的公开基准，确保了评估的全面性。
    2.  **强大的基线**：比较对象不仅包括了原始的LLM（Direct Inference），还包括了多种主流的TIR方法（如Search-R1, ReTool）和基于强大闭源模型（GPT-4.1）的MAS框架（如OAgents, OWL），保证了比较的公平性和说服力。
    3.  **多尺度模型**：在不同参数规模（如7B, 32B）的模型上都进行了实验，验证了其方法的有效性和可扩展性。

*   **实验数据与关键结果**：
    实验结果有力地证明了AFM的优越性，以下是一些关键数据引用：
    *   **网页智能体任务 (Web Tasks)**：根据**表7**，在Qwen2.5-32B-Instruct作为骨干模型时：
        *   在**GAIA**基准上，**AFM-RL**得分为**55.3%**，而之前的SOTA模型WebSailor为53.2%，基于更强骨干QwQ-32B的WebDancer-RL也只有51.5%。
        *   在**HLE**（人类前沿难题）基准上，**AFM-RL**得分为**18.0%**，显著高于WebThinker-RL (15.8%)和Deepseek-R1 (8.6%)。
        *   在**BrowseComp**（高难度网页浏览）上，**AFM-RL**达到**11.1%**，同样是新的SOTA。

    *   **代码与数学任务 (Code/Math Tasks)**：根据**表11**，在使用Qwen2.5-Coder-32B骨干模型时：
        *   在**AIME25**（美国数学邀请赛）上，**AFM-RL**取得了**59.8%**的平均解题率，而之前的最佳模型ReTool-32B为49.3%。
        *   在**OlympiadBench**（奥林匹克竞赛级难题）上，**AFM-RL**得分为**72.1%**，同样优于ReTool-32B的66.4%。

    *   **计算效率**：**图5**的数据是论文的另一大亮点，我将其整理为下表以便理解：

| 方法 | 在GAIA上的平均Token消耗 |
| :--- | :--- |
| OAgents (MAS) | 156,400 |
| WebThinker (TIR) | 55,957 |
| **AFM (CoA)** | **24,047 (比OAgents低84.6%)** |

这个数据清晰地表明，AFM在实现SOTA性能的同时，极大地降低了资源消耗。

### **四、未来探索与挑战**

*   **值得探索的问题与方向**：
    1.  **更复杂的智能体链结构**：目前CoA内部的“智能体”角色相对固定，未来可以探索让模型动态生成、组合新的智能体角色，以适应更开放、更多样的任务。
    2.  **多模态智能体基础模型**：将CoA范式扩展到多模态领域，让模型能够在一个统一框架内协同处理文本、图像、音频等信息，这将是构建通用AI助手的关键一步。
    3.  **终身学习与自主演化**：当前模型的学习过程是离线的（SFT+RL）。未来的研究可以探索如何让AFM在与环境的持续交互中进行在线学习和自我完善，实现能力的终身演化。
    4.  **智能体社会模拟**：利用高效的AFM作为基本单元，可以在单个或少量计算设备上模拟大规模的智能体社会，用于经济、社会学等领域的研究。

*   **挑战**：
    1.  **“教师”模型的能力天花板**：知识蒸馏的效果上限受限于“教师”系统（OAgents）的能力。如何超越教师，或者从多个不同教师身上学习，是一个重要挑战。
    2.  **安全、可控与对齐**：随着AFM变得越来越强大和自主，如何确保其行为是安全、可预测，并且始终与人类的价值观对齐，将成为一个愈发重要的研究课题。
    3.  **复杂环境的泛化**：虽然论文展示了对未见工具的泛化能力，但在更加动态和不可预测的真实世界环境中，AFM的鲁棒性仍需进一步验证。

*   **新的技术和投资机会**：
    *   **技术催生**：这篇论文可能会催生**“智能体原生”（Agent-Native）的模型架构**和专门用于训练AFM的**软硬件协同设计**。高效的智能体训练平台和评估基准也将成为热点。
    *   **投资机会**：基于AFM技术的初创公司，尤其是在**自动化科学研究（AI for Science）**、**软件工程自动化**、**企业级流程自动化（RPA）**和**个性化教育**等垂直领域的公司，将具有巨大的投资潜力。投资重点将从“模型大小”转向“模型解决复杂任务的效率和智能程度”。

### **五、批判的视角看，论文的不足及缺失**

尽管这是一篇非常出色的工作，但从批判性视角审视，仍存在一些可以探讨的方面：

1.  **对“教师”模型依赖性的探讨不足**：论文成功地从OAgents蒸馏了知识，但没有深入讨论这种依赖性可能带来的负面影响。例如，“教师”模型的偏见、错误或能力盲点是否会被毫无保留地“遗传”给学生AFM？如何缓解这一问题？
2.  **泛化能力的验证范围有限**：论文在5.2节中验证了模型对未见“工具”的泛化能力，这是一个亮点。但“工具”本质上也是一种“智能体”。其宣称的CoA范式可以支持“几乎任何多智能体系统”，这一论断的普适性还需要在更多样、更异构的智能体协作框架（而不仅仅是OAgents）上进行蒸馏实验来验证。
3.  **RL阶段奖励设计的复杂性**：论文在网页任务中使用了LLM-as-a-Judge作为奖励信号。众所周知，这类“模型裁判”自身也存在偏见、不稳定性等问题。RL训练的最终效果在很大程度上取决于“裁判”的公正性和准确性，这方面的讨论可以更深入。
4.  **实验结果的可复现成本**：虽然作者承诺开源，但完整复现这篇论文的实验（尤其是训练32B规模的模型）需要巨大的计算资源，这可能会限制中小型研究机构在此工作基础上进行快速迭代和创新。

### **六、重点学习、启发与背景知识**

*   **应该重点学什么？**
    1.  **核心思想：复杂协作的“内部化”**：最值得学习的是将一个复杂的外部系统（多智能体协作）抽象、建模并“内化”到一个单一、高效模型中的设计哲学。这是一个在能力和效率之间取得精妙平衡的范式。
    2.  **方法论：行为轨迹的知识蒸馏**：多智能体知识蒸馏是一个极具启发性的方法。它告诉我们，要教会模型一种复杂的行为，可以先找到一个能够执行该行为的“专家系统”（即使它很慢或很昂贵），然后将其完整的“行为轨迹”蒸馏给一个高效的学生模型。这个“流程蒸馏”思想可以被广泛应用。
    3.  **数据工程：结构化数据的重要性**：AFM的成功离不开`plan`, `think`, `tools`, `reflection`等结构化标签。这启发我们，在训练模型解决复杂推理任务时，数据的**结构化程度**和其**内容**同样重要。

*   **有哪些启发？**
    这个“流程蒸馏”的思路可以迁移到许多其他领域。例如：
    *   **软件工程**：可以记录一个高级软件工程师团队（包含项目经理、架构师、程序员、测试工程师）的完整开发流程，并将其蒸馏到一个端到端的AI软件开发智能体中。
    *   **科学研究**：可以记录一个科研团队从文献调研、提出假设、设计实验到分析数据的全过程，并蒸馏到一个AI科学家智能体中。

*   **需要补充了解的背景知识**：
    1.  **ReAct框架**：理解其“思考-行动-观察”的基本循环，这是理解TIR模型和CoA范式区别的基础。
    2.  **多智能体系统（MAS）**：了解MAS的基本概念，如智能体间的通信、协调、角色扮演等（例如AutoGen, CrewAI等框架的思想），有助于理解CoA要解决的核心问题。
    3.  **知识蒸馏（Knowledge Distillation）**：了解其基本原理，即如何将一个“教师”模型的知识迁移给一个“学生”模型。
    4.  **强化学习（RL）**：了解强化学习，特别是**PPO (Proximal Policy Optimization)**或论文中提到的**DAPO**算法，是如何被用于微调语言模型的。

希望以上详尽的解读能够帮助您全面、深入地理解这篇优秀的论文。如果您还有其他问题，随时可以提出。