# ReSearch：Learning to Reason with Search for LLMs via Reinforcement Learning

和[Search-R1：Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning](Search-R1：Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning.md)的区别就是多了个格式奖励。

---
![image.png](https://cdn.jsdelivr.net/gh/vllbc/img4blog//image/20250909101739.png)

这篇论文的核心贡献在于提出了一种名为 **ReSearch** 的新颖框架，它**利用强化学习（Reinforcement Learning）来训练大语言模型（LLM）在推理过程中主动、智能地使用搜索工具**，而整个训练过程完全不需要人工标注的推理步骤数据。这标志着从传统的、相对固化的“检索-增强-生成”（RAG）模式，向一种更动态、更智能的“边思考边搜索”的代理（Agent）行为模式的重大转变。

在传统的 RAG 流程中，系统通常是先根据用户问题进行一次或几次检索，然后将检索到的信息作为上下文，让模型生成答案。这种方法的局限性在于，它无法处理需要多步推理、且每一步推理都依赖于前一步搜索结果的复杂问题。模型是被动地接收信息，而不是主动地规划如何获取信息。

ReSearch 框架则彻底改变了这一模式。它将“搜索”这一行为本身视为推理链条中的一个可学习的“动作”（Action）。模型需要自己决定：**什么时候**应该去搜索？**搜索什么**关键词才能最高效地获取信息？以及如何根据搜索到的结果**调整**下一步的思考和行动？

为了实现这一点，作者们巧妙地运用了**强化学习**。简而言之，他们让模型针对一个问题，生成多种可能的“解题路径”（在论文中称为 **rollouts**）。这些路径不仅仅是文字，而是由`<think>`（思考）、`<search>`（搜索）、`<result>`（搜索结果）和`<answer>`（最终答案）等特殊标签构成的结构化文本。例如，模型可能会先生成一段`<think>`来分析问题，然后决定生成一个`<search>`查询，系统执行这个查询后，将结果包裹在`<result>`标签中反馈给模型，模型再根据这个新信息进行下一步的`<think>`，如此循环，直到最终给出`<answer>`。

这个过程的关键在于**奖励模型（Reward Model）**。研究人员并没有设计复杂的奖励机制，而是采用了一种非常简单有效的规则：如果模型最终给出的答案是正确的（通过与标准答案计算 **F1 分数**来判断），就给予一个正向奖励；如果答案错误但格式正确，给予一个微小的奖励；如果格式都错了，则不给奖励。

> Specifically, for the final reward of a rollout:
> r = { f1(apred, agt), if f1 score is not 0; 0.1, if f1 score is 0 and format is correct; 0, if f1 score is 0 and format is incorrect }

通过这种方式，模型在海量的“试错”中，会逐渐学会哪些“思考-搜索”序列更容易导向正确的答案，从而优化自身的决策策略（Policy）。论文中采用的强化学习算法是 **GRPO (Group Relative Policy Optimization)**，这是一种高效的 PPO 变体，它通过比较一组并行生成的多个 rollouts 的优劣来更新模型，而无需训练一个独立的“评论家”网络，从而提高了训练效率。

更令人惊艳的是，这种训练方式催生出了**“涌现”能力**。论文的案例研究（Case Study）展示了一个绝佳的例子：模型在第一次搜索“Martín Ramírez Pech”时，得到了错误的人（一个同名的艺术家）。此时，模型在下一步的`<think>`中，竟能自行判断“**It appears that I made a mistake in my search query.**”（我似乎在搜索查询中犯了个错误），并主动修正查询为“Martín Ramírez Pech political party”，从而获取了正确的信息。这种**自我反思和纠错（self-correction）**的能力并非来自任何预设的规则，而是模型在以“最终答案正确性”为目标的强化学习过程中，自发学习到的高级推理策略。

在实验验证上，论文取得了令人信服的结果。他们仅使用 **MuSiQue** 这一个数据集进行训练，却在包括 **HotpotQA**、**2WikiMultiHopQA** 和 **Bamboogle** 在内的多个知名多跳问答（multi-hop QA）基准测试集上，都取得了远超基线模型的性能。如下表所示（节选自论文 Table 2），在 Bamboogle 数据集上，ReSearch 将 Qwen2.5-32B-Instruct 模型的准确率（EM）从基线最高的 31.20% 提升到了 **56.80%**，提升幅度巨大，充分证明了该框架的有效性和泛化能力。

| Model | Bamboogle (EM, %) | Bamboogle (LJ, %) |
| :--- | :--- | :--- |
| Naive Generation | 18.40 | 29.60 |
| Naive RAG | 23.20 | 40.80 |
| Iter-RetGen | 29.60 | 44.80 |
| IRCoT | 31.20 | 47.20 |
| **ReSearch-Qwen-32B-Instruct** | **56.80** | **67.20** |

总而言之，ReSearch 论文的创新性贡献在于，它为“如何教模型使用工具”这一核心问题提供了一个可扩展、高效且无需大量人工监督的解决方案。它不仅仅是 RAG 技术的简单升级，更是向着构建能够自主规划、执行和反思的通用人工智能代理（AI Agent）迈出的坚实一步。

---

接下来，我将从您提出的六个方面，对这篇论文进行更详细的解读。

### 研究目标与实际问题

1.  **研究目标**：
    论文的核心研究目标是训练大语言模型（LLM）掌握一种**动态、迭代的“推理与搜索”相结合的能力**，使其能够自主解决需要多步信息检索和复杂逻辑推理才能回答的问题。

2.  **解决的实际问题**：
    它主要解决的是现有 **RAG (Retrieval-Augmented Generation)** 系统在处理**复杂多跳问题（complex multi-hop questions）**时的普遍短板。例如，对于“《星际穿越》的导演的出生地的市长是谁？”这类问题，传统 RAG 难以胜任，因为它需要：
    *   **步骤1**：搜索“《星际穿越》的导演是谁？” -> 得到“克里斯托弗·诺兰”。
    *   **步骤2**：搜索“克里斯托弗·诺兰的出生地是哪里？” -> 得到“英国伦敦”。
    *   **步骤3**：搜索“伦敦的现任市长是谁？” -> 得到最终答案。
    传统方法通常无法自主规划并执行这样一个连贯的、依赖于中间结果的搜索链条。ReSearch 正是为了让模型学会这种自主规划和执行的能力。

3.  **行业重要意义**：
    这个问题对于行业发展至关重要。随着 LLM 被广泛应用于搜索引擎、智能客服、个人助理等场景，用户需求早已不满足于简单的信息查询。用户期待 AI 能够像一个真正的专家助手一样，为复杂问题进行调研、分析并给出综合性的答案。ReSearch 提供了一条通往更强大的 **AI Agent** 的路径，这些 Agent 能够更可靠、更智能地利用外部世界的信息（通过搜索等工具），从而：
    *   **提升信息准确性**：显著减少模型在回答事实性问题时的“幻觉”现象。
    *   **扩展能力边界**：使模型能回答其内部知识库未覆盖的、或需要最新信息的时效性问题。
    *   **实现任务自动化**：为实现能够自主完成研究、报告撰写、旅行规划等复杂任务的自动化代理奠定了基础。

### 创新思路与方法优势

1.  **新的思路**：
    *   **将搜索视为推理动作**：最大的创新在于，它没有将搜索和推理看作两个独立的阶段，而是将“搜索”定义为推理过程中的一个内在“动作”。LLM 的任务不仅是生成文本，更是生成一个包含思考和动作的完整“计划”。
    *   **结果驱动的无监督学习**：它绕开了为推理过程本身提供监督数据的难题。通过强化学习，模型仅从最终答案的正确性这一稀疏的奖励信号中，就能反向传播学习到优秀的推理策略，这大大降低了数据标注的成本，增强了方法的可扩展性。

2.  **新的方法/模型**：
    该论文提出的核心是 **ReSearch 框架**，其技术细节包括：
    *   **结构化生成（Structured Generation）**：通过定义`<think>`, `<search>`, `<result>`, `<answer>`等一系列特殊标签，规范了模型的输出格式，使其生成过程本身就构成了一个清晰的推理轨迹。
    *   **强化学习算法 GRPO**：采用 **Group Relative Policy Optimization** 对模型进行训练。相比传统的 PPO 算法，GRPO 通过在一组（Group）候选输出（rollouts）中进行比较来计算优势函数，避免了训练一个独立的 Critic 网络，使训练更加稳定和高效。
    *   **奖励结果屏蔽（Retrieval Result Masking）**：这是一个非常巧妙的细节。在计算损失函数时，模型只对它自己生成的`<think>`和`<search>`部分负责，而由外部搜索工具提供的`<result>`部分的 token 则被屏蔽掉。
    > Therefore, we mask the retrieval results in the loss calculation to avoid the training policy from being biased towards the retrieval results.

3.  **特点和优势**：
    与之前的方法相比，ReSearch 的优势非常明显：
    *   **vs. 提示工程方法 (e.g., IRCoT, Iter-RetGen)**：基于提示的方法（如 CoT）虽然也能引导模型进行多步推理，但它们依赖于固定的提示模板，模型只是在“遵循指令”，而不是真正“学会”一种策略。因此，ReSearch 学习到的策略更灵活、更具泛化性，能适应更多样化的问题。
    *   **vs. 监督微调方法**：监督微调需要大量高质量的“问题-推理过程-答案”数据对，获取这种数据的成本极高。ReSearch 则完全不需要推理过程的标注，大大提升了实用性。
    *   **涌现的复杂能力**：如前所述，ReSearch 能够诱导出**自我反思和纠错**等高级能力，这是简单的提示或监督微调难以实现的。模型真正从“死记硬背”转向了“学以致用”。

### 實驗設計與結果分析

1.  **实验设计**：
    *   **训练与测试分离**：为了验证方法的**泛化能力（Generalization Ability）**，研究者**只在 MuSiQue 数据集的训练集上进行训练**。
    *   **多基准评估**：在四个广泛认可的多跳问答基准上进行评估，包括 HotpotQA, 2WikiMultiHopQA, MuSiQue, 和 Bamboogle。这些数据集各有侧重，能全面地考察模型的性能。
    *   **模型选择**：实验基于 Qwen2.5 系列的 7B 和 32B 尺寸模型，并同时在基础模型（base）和指令微调模型（instruct）上进行了训练，以比较不同起点的影响。
    *   **基线对比**：选取了四种有代表性的基线方法进行对比：
        *   **Naive Generation**: 无 RAG，直接生成。
        *   **Naive RAG**: 简单的先检索后生成。
        *   **Iter-RetGen**: 一种迭代式的检索与生成方法。
        *   **IRCoT**: 将检索与思维链（CoT）结合的方法。
    *   **评估指标**：
        *   **EM (Exact Match)**：精确匹配率，非常严格。
        *   **LJ (LLM-as-a-Judge)**：使用 GPT-4o-mini 作为裁判，对答案进行语义上的正确性判断，比 EM 更符合人类的评估方式。

2.  **实验数据和结果**：
    实验结果有力地证明了 ReSearch 的有效性。
    *   **显著的性能提升**：
    > Compared with all the baselines, ReSearch achieves significant improvements on all the benchmarks... the average improvement of ReSearch over the best baseline is **15.81%** in exact match and **17.56%** in LLM-as-a-judge, for Qwen2.5 model with 7B parameters.

    *   **强大的泛化能力**：尽管只在 MuSiQue 上训练，ReSearch 在其他三个数据集上也表现出色。例如，在 HotpotQA 上，ReSearch-Qwen-7B-Instruct 的 LJ 得分达到了 **63.62%**，远高于基线最高的 52.22%（Iter-RetGen）。这表明模型学到的是通用的“推理-搜索”能力，而非针对特定数据集的知识。

    *   **训练过程分析**：论文中的 Figure 3 展示了训练过程中“响应长度”和“搜索次数”的变化，揭示了模型的学习动态。可以看到，随着训练的进行，模型平均的**搜索次数（Number of Search）**稳步上升，说明模型逐渐认识到对于复杂问题，多次、迭代地使用搜索是解决问题的关键。

    
    *上图（模拟自论文 Figure 3）清晰地展示了，随着训练步数的增加，模型的输出中平均搜索操作的次数（右侧图）在不断增长，证明了其学会了更频繁地利用工具。*

### 未來展望與潛在機會

1.  **值得探索的问题和挑战**：
    *   **更丰富的工具集**：目前 ReSearch 只使用了“搜索”这一种工具。未来可以将其扩展到更广泛的工具集，如**代码解释器、计算器、API 调用、数据库查询**等。如何让模型学会在多种工具间进行选择和组合，将是一个重要的研究方向。
    *   **更复杂的任务**：可以将此框架应用于比问答更复杂的任务，如**科学文献综述、自动编程、事实核查**等。
    *   **提升样本效率**：强化学习通常需要大量的训练样本。研究如何用更少的数据、更低的计算成本来达到同样的效果，例如结合模仿学习（Imitation Learning）进行预训练，将是关键挑战。
    *   **更优的奖励模型**：当前的奖励模型只关注最终结果。未来可以设计更精细的奖励函数，比如对推理步骤的效率、搜索查询的质量进行奖励，以引导模型学习到更优的策略。

2.  **新的技术和投资机会**：
    *   **AI Agent 平台**：ReSearch 的成功将极大地推动 AI Agent 技术的发展。专注于构建和托管能够使用多种工具、执行复杂任务的 Agent 平台，将成为一个巨大的市场。类似 AgentVerse、LangChain 等框架将更加成熟。
    *   **为 Agent 优化的工具 API**：未来会出现更多专为 AI Agent 设计的 API 服务。这些 API 返回的数据将是结构化的、易于模型解析的，而不是目前主要面向人类阅读的网页。
    *   **Agent 训练和评估的基础设施**：随着 Agent 变得越来越复杂，如何高效地训练、调试和评估它们将成为一个新的技术领域。提供 Agent 训练的模拟环境、评估基准和 MLOps 解决方案的公司将迎来发展机遇。

### 批判性視角與局限性

尽管这篇论文取得了突破性进展，但从批判的角度看，仍存在一些潜在的不足和待验证之处：

1.  **对搜索工具质量的依赖**：
    整个框架的性能上限受制于其使用的搜索引擎。如果搜索引擎返回了错误或不相关的信息，模型可能很难从中恢复，甚至可能被误导。论文没有深入探讨模型在面对低质量搜索结果时的鲁棒性。

2.  **奖励模式的潜在风险**：
    仅基于最终答案的奖励机制可能会导致**“奖励黑客”（Reward Hacking）**。即模型可能找到某种捷径或投机取巧的方式来获得正确答案，但其推理过程本身是不合逻辑或不可靠的。虽然论文中的案例看起来不错，但在更大规模、更复杂的场景下，这个问题依然存在。

3.  **计算成本高昂**：
    强化学习的训练过程，尤其是对于 LLM 这种大模型，通常需要巨大的计算资源。论文提到训练使用了 `8 x 8 Nvidia H800 GPUs`，这对于许多研究机构和小型公司来说是难以承受的。方法的可复现性和普及性可能会因此受到限制。

4.  **泛化领域的局限性**：
    虽然论文证明了在不同多跳问答数据集之间的泛化能力，但这仍然是在“问答”这个相对单一的领域内。该框架在其他类型的任务，如**创意写作、代码生成、数学推理**等领域的有效性，仍有待验证。模型学到的“推理-搜索”模式可能对特定领域存在偏好。

### 核心啟示與知識補充

1.  **重点学习与启发**：
    *   **范式转变的启发**：最大的启发是从**静态的“知识注入”思维（RAG）转向动态的“能力授予”思维（Agent）**。我们不应只把 LLM 看作一个知识库，而应将其视为一个能够主动学习如何利用外部世界来解决问题的“决策者”。
    *   **RL 在 LLM Agent 中的应用**：这篇论文是 RL 成功应用于训练 LLM 使用工具的典范。它证明了即使是简单的、基于最终结果的奖励，也足以激发模型产生复杂的、有益的行为（如自我纠错）。这为训练更复杂的 Agent 提供了信心和方法论。
    *   **结构化输出的重要性**：通过设计一套简洁的 XML 风格标签，将模型的思维过程显式化、结构化，这不仅便于模型与外部环境（如搜索工具）交互，也极大地增强了模型输出的**可解释性**。这是一个非常值得借鉴的工程实践。

2.  **需要补充的背景知识**：
    为了更深入地理解这篇论文，我建议您补充了解以下背景知识：
    *   **强化学习基础 (Reinforcement Learning)**：理解**策略（Policy）、奖励（Reward）、状态（State）、动作（Action）**等核心概念。
    *   **PPO 算法 (Proximal Policy Optimization)**：了解 PPO 为何是当前 LLM 强化学习（如 RLHF）中的主流算法，它如何通过“信任区域”来保证训练的稳定性。理解了 PPO，就更容易理解其变体 GRPO。
    *   **检索增强生成 (RAG)**：了解 RAG 的基本工作原理，包括其不同变种，如 Advanced RAG、Self-RAG 等，这能帮助您更好地理解 ReSearch 在此基础上的创新。
    *   **思维链 (Chain-of-Thought, CoT)**：了解 CoT 如何通过引导模型输出中间推理步骤来提升其复杂推理能力，这有助于您将其与 ReSearch 这种通过 RL 学习推理链的方法进行对比。