# DeepDive：Advancing Deep Search Agents with Knowledge Graphs and Multi-Turn RL

deepresearch的工作，解决的问题是ds训练中数据短缺的问题，提出的创新主要是数据合成，方法类似于逆向工程和[WebExplorer：Explore and Evolve for Training Long-Horizon Web Agents](WebExplorer：Explore and Evolve for Training Long-Horizon Web Agents.md)，本文的方法是在知识图谱上面随机探索，形成复杂推理路径，并且对实体进行模糊化，最后将路径作为问题，路径终点作为答案，并且还过滤难度，过于简单的直接抛弃。

---
![image.png](https://cdn.jsdelivr.net/gh/vllbc/img4blog//image/20250923214508.png)

首先，让我们对这篇论文进行一个全面的、深入的解读。

这篇论文的核心目标是提升大型语言模型（LLMs）作为**深度搜索智能体（deep search agents）**的能力，使其能够解决那些需要跨越多个信息来源、进行长程推理才能找到答案的复杂现实世界问题。作者观察到一个关键的行业痛点：尽管通过集成浏览工具，LLMs展现出巨大潜力，但现有的开源模型在这方面远远落后于像OpenAI、Google等公司的顶尖闭源模型。论文将这种差距归因于两个主要因素：**一是缺乏足够困难、需要深度搜索的监督式训练数据；二是缺少有效的多轮强化学习（multi-turn RL）训练方法来培养模型的长程推理（long-horizon reasoning）能力。**

为了解决这两个挑战，论文提出了一个名为**DeepDive**的综合框架，其创新性主要体现在两大支柱上：

**第一大支柱是创新的自动化数据合成策略。** 传统问答（QA）数据集，如HotpotQA，问题结构相对简单，通常通过几次直接搜索就能解决，无法有效训练模型处理“难找（hard-to-find）”信息的能力。而手动构建高质量的深度搜索数据集又极其昂贵且耗时。DeepDive另辟蹊径，提出了一种利用**知识图谱（Knowledge Graphs, KGs）**来自动生成大规模、高质量、高难度的深度搜索问答对的方法。

这个过程非常精巧，正如论文图3所示，它分为几个步骤：
1.  **在知识图谱上进行随机游走（Random Walk on KG）**：从一个初始节点出发，在图谱中随机游走多步（例如论文中设置的k>5步），形成一条包含多个实体和关系的复杂推理路径。这天然地构建了问题所需的多跳（multi-hop）逻辑链。
2.  **模糊化属性丰富的路径（Blur Attribute-Rich Path）**：为了增加问题的模糊性和难度，防止模型通过简单的关键词匹配找到答案，DeepDive利用一个强大的LLM（如Gemini-2.5-Pro）对路径中节点的关键属性进行“模糊化”处理。例如，将具体的日期“1948年”模糊成“20世纪40年代末”，将具体的人名或地名用其特征来描述。这创造了论文所说的**“模糊实体（blurry entity）”**，迫使模型必须通过推理和综合多个信息源来确定实体。
3.  **合成问答对并进行难度过滤**：最后，LLM将这条模糊化的路径转化为一个自然语言问题，并将路径终点的某个属性作为答案。更关键的是，为了确保数据的“足够难”，他们设计了一个**自动化难度过滤器**：使用一个前沿模型（如GPT-4o）加上基础的搜索工具尝试回答这些生成的问题。如果该模型在几次尝试内能成功回答，这个问题就被认为是“太简单”而被丢弃。只有那些顶级模型也难以解决的问题，才会被保留下来用于训练。

通过这种方式，DeepDive成功地生成了一个包含3090个高质量深度搜索问答对的数据集，这些数据不仅答案可验证，而且在逻辑深度和信息模糊度上都远超传统数据集。

**第二大支柱是端到端的多轮强化学习（End-to-End Multi-Turn RL）框架。** 仅仅有好的数据进行监督微调（SFT）是不够的。SFT能教会模型模仿“好的搜索轨迹”，但无法让模型学会在真实环境中自主探索、试错和规划。因此，DeepDive采用了多轮强化学习来训练智能体。

与单轮RL（模型只输出一次最终答案）不同，多轮RL允许智能体在一个模拟的网页浏览环境中进行一系列的**“思考 -> 调用工具 -> 观察结果”**的迭代。这个过程会形成一个完整的决策轨迹。DeepDive采用了**GRPO（Group Relative Policy Optimization）**算法，这是一种先进的策略优化算法。模型在每一步决策（是搜索、点击链接还是给出最终答案）后，都会与环境交互，直到最终输出答案。

为了有效引导模型的学习，DeepDive设计了一个非常严格的**奖励机制（Strict Rewards）**。一个轨迹只有在同时满足以下两个条件时才能获得+1的奖励，否则奖励为0：
1.  轨迹中的每一步，无论是思考链（Chain-of-Thought）还是工具调用，其格式都必须完全正确。
2.  最终提交的答案必须与标准答案完全一致（由LLM-as-Judge进行判定）。

这种严苛的二元奖励机制，结合“一旦出错立即终止并给予0奖励”的**早停机制（early exit mechanism）**，极大地提升了样本的有效性，确保模型学到的是鲁棒且可靠的搜索策略，而不是通过“奖励黑客（reward hacking）”来投机取巧。

最终，DeepDive将这两大支柱结合，先用合成的高质量数据对基础模型（如QwQ-32B）进行SFT，使其具备初步的深度搜索能力，然后再通过多轮RL进行深度优化。实验结果非常亮眼：在极具挑战性的**BrowseComp**基准测试上，**DeepDive-32B**模型取得了**14.8%**的准确率，不仅远超之前的开源模型（如WebSailor-32B的10.5%），甚至超过了配备了搜索工具的GPT-4o（1.9%）和Claude-3.7-Sonnet（4.5%）等顶尖闭源模型，创造了开源模型在该领域的新纪录。如论文图1所示，RL训练相比仅SFT训练，在四个主流深度搜索基准上都带来了一致且显著的性能提升（例如在BrowseComp上从9.5%提升至14.8%）。这雄辩地证明了DeepDive框架的有效性和巨大潜力。

### 论文的研究目标是什么？ 想要解决什么实际问题？这个问题对于行业发展有什么重要意义?

- **研究目标**：
    本文的核心研究目标是**提升开源大型语言模型（LLMs）在复杂、长程、多跳信息检索与推理任务中的能力**，使其成为一个高效的“深度搜索智能体”。

- **解决的实际问题**：
    1.  **弥合开源与闭源模型在高级搜索能力上的差距**：目前，如OpenAI的DeepResearch等闭源模型在处理需要深度网络搜索和信息综合的复杂问题上表现出色，而开源社区缺乏同等能力的模型。
    2.  **解决深度搜索训练数据的稀缺性问题**：训练强大的搜索智能体需要大量高质量、高难度的问答数据，而这类数据难以通过人工方式大规模构建。
    3.  **探索超越监督微调（SFT）的更有效的训练范式**：SFT只能让模型模仿静态的专家轨迹，而真实的搜索是一个动态决策过程。论文旨在探索如何通过强化学习让模型学会自主规划和执行长程搜索任务。

- **对行业发展的重要意义**：
    这个问题对于AI行业的发展至关重要。一个强大的深度搜索智能体是实现**通用人工智能（AGI）**的关键一步，它不仅仅是一个“问答机器”，更是一个**“自动化研究助理”**。其意义体现在：
    *   **加速科学研究与创新**：研究人员可以利用这样的智能体快速进行文献综述、寻找交叉学科的解决方案、验证假设，极大地提升科研效率。
    *   **变革商业决策与分析**：在金融、市场、法律等领域，深度搜索智能体可以从海量公开信息中挖掘深层联系，为企业提供更精准的商业洞察和风险预警。
    *   **推动AI Agent技术的成熟**：深度搜索是Agent能力的一个典型体现。解决了这个问题，相关的技术（如工具使用、长程规划、动态环境交互）可以迁移到更广泛的Agent任务中，如软件开发、自动化客服、个人助理等。
    *   **促进开源社区的繁荣**：通过提供一套可行的、高效的训练方法和高质量的数据集，本文的工作降低了研究门槛，能激励更多开发者参与到构建强大开源Agent的行列中，避免技术被少数巨头垄断。

### 论文提出了哪些新的思路、方法或模型？跟之前的方法相比有什么特点和优势？

论文的核心是**DeepDive框架**，它包含两个关键的创新思路：**基于知识图谱的自动化数据合成**和**端到端的多轮强化学习训练**。

- **新的思路与方法**：
    1.  **从“无结构文本”转向“结构化知识”来生成训练数据**：
        > To address these challenges, we present DeepDive to advance deep search agents. First, we introduce a strategy to automatically synthesize hard-to-find questions from open knowledge graphs (KGs).
        之前的方法多依赖于已有的QA数据集（如HotpotQA）或人工标注，这些数据要么过于简单，要么成本高昂。DeepDive巧妙地利用知识图谱（KGs）这种半结构化的数据源。
        *   **特点与优势**：
            *   **保证逻辑深度和可验证性**：KG中的实体和关系是明确的，通过在KG上进行多步随机游走，可以天然地构建出具有复杂逻辑链且答案确凿无误的QA对。
            *   **可控的难度生成**：通过模糊化处理和自动化难度过滤器，可以系统性地生成远超现有数据集难度的问题，精准地“靶向”训练模型的深度搜索能力。
            *   **可扩展且成本低**：该方法是完全自动化的，可以轻松扩展到不同领域、不同语言的知识图谱上，大规模生成训练数据。

    2.  **从“模仿学习”转向“在线策略学习”来训练智能体**：
        > Second, we apply end-to-end multi-turn RL to enhance LLMs' long-horizon reasoning with deep search.
        之前很多Agent的训练严重依赖监督微调（SFT），即模仿专家轨迹。DeepDive则更进一步，采用多轮强化学习（Multi-Turn RL）进行端到端优化。
        *   **特点与优势**：
            *   **学习动态决策策略**：RL让模型在与环境的持续交互中学习一个最优的行动策略（policy），而不是死记硬背静态的轨迹。这使得模型在面对训练时未见过的、更复杂多变的情况时，具有更好的泛化能力和鲁棒性。
            *   **培养长程规划能力**：多轮RL的奖励是在任务最终完成时才给予，这迫使模型必须学会为了一个长远目标（找到正确答案）而规划一系列连贯的行动，有效提升了其长程推理能力。
            *   **严格的奖励设计避免“投机取巧”**：通过对过程格式和最终结果都进行严格要求的奖励函数，确保了模型学到的是真正解决问题的能力，而不是利用环境或奖励函数的漏洞。

    
    *图示：论文图3和图5的核心思想，展示了从KG生成数据到多轮RL训练的完整流程。*

### 论文通过什么实验来验证所提出方法的有效性？实验是如何设计的？实验数据和结果如何？

论文设计了一系列严谨的实验来全面验证DeepDive框架的有效性。

- **实验设计**：
    1.  **基准测试（Benchmarking）**：在四个公认的、具有挑战性的深度搜索基准上进行评测：**BrowseComp**、**BrowseComp-ZH**（中文版）、**Xbench-DeepSearch** 和 **SEAL-0**。
    2.  **模型对比（Baselines Comparison）**：将DeepDive模型与两类模型进行对比：
        *   **闭源模型**：包括GPT-4o, Claude-3.7-Sonnet等，以及它们通过函数调用（function call）获得浏览能力后的版本。
        *   **开源模型**：包括当时最先进的开源模型如Qwen, DeepSeek-R1，以及专门为搜索任务设计的Agent模型如WebSailor, Search-o1。
    3.  **消融研究（Ablation Study）**：为了验证框架中每个组件（高质量数据和RL训练）的必要性，论文进行了详细的消融实验。例如，比较仅使用HotpotQA数据训练和使用DeepDive合成数据训练的效果；比较仅进行SFT和进行SFT+RL训练的效果。
    4.  **泛化能力测试**：在一些相对简单的搜索任务（如HotpotQA, WebWalker）上测试DeepDive，检验其在难任务上学到的能力是否能迁移到简单任务上。
    5.  **扩展性分析（Scaling Analysis）**：探究模型性能与**最大工具调用次数（Max Tool Calls）**之间的关系，验证模型是否能通过增加推理时间（即更多的搜索步骤）来解决更难的问题。

- **实验数据和结果**：
    *   **核心性能**：在最具挑战性的BrowseComp上，DeepDive-32B取得了**14.8%**的准确率，创造了开源模型的新纪录。
        > As shown in Table 1, DeepDive-32B achieved 14.8%, setting a new record for open-source models.
        这个结果显著优于其他所有开源Agent，并且超过了配备工具的GPT-4o†（1.9%）和Claude-3.7-Sonnet†（4.5%）。

        | 模型 | BrowseComp 准确率 (%) |
        | :--- | :--- |
        | GPT-4o† | 1.9* |
        | Claude-3.7-Sonnet† | 4.5 |
        | WebSailor-32B | 10.5* |
        | DeepDive-32B (SFT-only) | 9.5 |
        | **DeepDive-32B** | **14.8** |

    *   **消融研究结果**：论文的表2清晰地展示了数据和RL的重要性。以BrowseComp-266子集为例：
        *   **数据的重要性**：使用论文合成数据进行SFT的模型（7.5% Acc）远超使用HotpotQA训练的模型（4.9% Acc）。
        *   **RL的重要性**：在SFT的基础上增加RL训练后，模型准确率从9.5%（SFT-only）提升到**12.0%**，并且平均工具调用次数（#Turn）从32.7次增加到**47.2**次，证明RL显著增强了模型的深度搜索意愿和能力。

    *   **扩展性分析结果**：论文图8显示，随着最大工具调用次数从8次增加到128次，DeepDive-32B在BrowseComp上的性能稳步提升。这表明模型学会了利用更长的推理链来解决问题，这是深度搜索能力的关键标志。

### 结合大模型领域的当前学术理解，未来在该研究方向上还有哪些值得进一步探索的问题和挑战？这可能催生出什么新的技术和投资机会?

- **值得探索的问题和挑战**：
    1.  **更高效的探索策略**：论文提到模型存在“过度搜索（over-search）”现象。未来的研究需要探索更智能的搜索策略，比如引入**信息增益（Information Gain）**作为判断是否继续搜索的依据，或者让模型学会主动**剪枝（pruning）**不相关的搜索路径，以提高效率。
    2.  **更复杂的工具使用和规划**：目前的搜索工具相对简单（search, click, open）。未来可以扩展到更复杂的工具集，如代码解释器、计算器、数据库查询API等。这要求模型具备更强的**动态规划（dynamic planning）**和工具协同能力。
    3.  **处理噪声和对抗性信息**：真实的网络环境充满了错误、过时甚至恶意的信息。如何让智能体具备**事实核查（fact-checking）**、**信息溯源（source verification）**和**对抗性鲁棒性（adversarial robustness）**是未来一个重要的研究方向。
    4.  **个性化与自适应学习**：如何让Agent根据特定用户或特定领域的知识进行快速自适应，并能通过与用户的持续交互进行**在线学习（online learning）**和自我进化，是通往个性化智能助理的关键。
    5.  **多模态深度搜索**：将搜索范围从文本扩展到图片、视频、音频等多模态信息，实现真正的“全网”深度搜索。

- **可能催生的技术和投资机会**：
    *   **Agent训练即服务（Agent Training as a Service）**：提供专门用于训练高级Agent的平台，包括高质量的合成数据、复杂的模拟环境和高效的RL训练框架。DeepDive的数据合成方法可以被产品化。
    *   **垂直领域的自动化研究平台**：在金融、生物医药、法律等专业领域，开发专门的深度搜索智能体，作为该领域专家的“超级助理”，提供深度研究和分析服务。
    *   **下一代搜索引擎**：颠覆传统基于关键词的搜索引擎，提供能够直接理解复杂、模糊问题并给出综合性、推理后答案的“答案引擎”。
    *   **AI Agent安全与对齐**：随着Agent能力越来越强，确保其行为可控、可信、符合人类价值观变得至关重要。专注于Agent安全、监控和对齐技术的公司将有巨大市场。

### 退一步，从批判的视角看，这篇论文还存在哪些不足及缺失？又有哪些需要进一步验证和存疑的？

- **存在的不足及缺失**：
    1.  **搜索效率问题**：论文自己承认了“过度搜索”的局限性。模型虽然效果好，但可能代价是极高的工具调用次数，这在实际应用中会带来高昂的API成本和延迟。论文缺乏对“效率”（如找到答案所需的平均步数或时间）的深入分析。
    2.  **数据合成的“天花板”**：
        > the upper limit of difficulty remains significantly lower than datasets like BrowseComp.
        尽管KG合成的数据质量很高，但其复杂度和创造性可能仍受限于知识图谱本身的结构和LLM的模糊化能力，与人类专家精心设计的问题（如BrowseComp中的问题）相比仍有差距。
    3.  **奖励机制的单一性**：二元奖励（非0即1）虽然严格，但也可能过于稀疏，导致模型在训练初期难以学习。同时，它没有对“部分正确”的答案或更优的解题路径给予奖励，可能限制了模型学习的多样性。
    4.  **对模型“内在推理”与“外部搜索”的解耦分析不足**：模型性能的提升究竟多大程度上来自于其内在推理能力的增强，多大程度上是学会了更好地“堆砌”搜索结果？这部分还需要更细致的探究。

- **需要进一步验证和存疑的**：
    *   **泛化到其他类型Agent任务的能力**：论文证明了模型在深度搜索任务上的强大能力，但这种能力能否有效迁移到其他需要复杂规划和工具使用的任务上（例如，作为编码助手、游戏玩家）？这有待进一步验证。
    *   **对知识图谱的依赖**：该方法的核心是高质量的知识图谱。如果在一个缺乏良好知识图谱的领域，这种数据合成方法是否依然有效？其效果对KG的覆盖率和质量有多敏感？
    *   **评估方法的鲁棒性**：虽然使用了LLM-as-Judge，但这种评估方式本身也可能存在偏见和不稳定性。尤其是在评估复杂推理问题时，机器裁判的准确性仍是一个开放性问题。

### 我希望从这篇论文中找一些拿来即用的创新想法，我应该从这篇论文中重点学什么？有哪些启发？你认为我还需要补充了解哪些背景知识?

- **重点学习的创新想法与启发**：
    1.  **“数据驱动”的Agent能力构建思路**：这篇论文给我们的最大启发是，**构建强大Agent的核心瓶颈之一是数据**。与其在模型结构上“内卷”，不如创造性地去构建一个能够持续生成高质量、高难度、多样化训练数据的“数据引擎”。这个“数据引擎”本身，就可能是一个非常有价值的产品。
    2.  **将RL用于优化“策略”而非“知识”**：可以将SFT和RL看作一个组合。SFT负责为模型注入基础的“知识”和“技能模仿”，而RL则在此基础上，教会模型如何在动态环境中灵活运用这些技能，形成“策略”和“智慧”。这个分层训练的思路在很多Agent任务中都值得借鉴。
    3.  **“逆向工程”式的问题生成法**：DeepDive从“答案和推理路径”（KG中的路径）出发，反向生成“问题”，这是一个非常聪明的想法。在很多领域，定义一个好问题比找到答案更难。我们可以借鉴这种思路，为自己的领域自动生成高质量的训练数据。
    4.  **将“计算量”转化为“智能”**：论文中的“测试时工具调用扩展”（test-time scaling）和“并行采样投票”表明，对于困难问题，给予模型更多的计算资源（更多的思考步骤或尝试次数）是提升性能的有效途径。这启发我们在设计Agent时，可以引入一个动态的“资源分配”机制，简单问题快速解决，复杂问题则投入更多计算。

- **需要补充了解的背景知识**：
    1.  **强化学习（Reinforcement Learning, RL）基础**：特别是策略梯度方法（Policy Gradient），以及像PPO（Proximal Policy Optimization）这样的现代RL算法。理解奖励函数（Reward Function）、策略（Policy）、价值函数（Value Function）等核心概念。
    2.  **知识图谱（Knowledge Graphs, KGs）**：了解KG的基本构成（实体、关系、属性），以及它如何用图结构来表示世界知识。
    3.  **大型语言模型作为智能体（LLM as Agents）**：了解当前主流的Agent框架，如ReAct（Reason+Act），以及工具调用（Tool-Using）的基本原理。
    4.  **基准测试（Benchmarks）**：可以去了解一下像BrowseComp, HotpotQA, WebQSP等数据集的特点，这能帮助你更深刻地理解“深度搜索”任务的难点所在。