Deepresearch - 标签 - vllbc02's blogs

DeepDive：Advancing Deep Search Agents with Knowledge Graphs and Multi-Turn RL

vllbc — Tue, 23 Sep 2025 00:00:00 +0000

deepresearch的工作，解决的问题是ds训练中数据短缺的问题，提出的创新主要是数据合成，方法类似于逆向工程和WebExplorer：Explore and Evolve for Training Long-Horizon Web Agents，本文的方法是在知识图谱上面随机探索，形成复杂推理路径，并且对实体进行模糊化，最后将路径作为问题，路径终点作为答案，并且还过滤难度，过于简单的直接抛弃。

SFR-DeepResearch：Towards Effective Reinforcement Learning for Autonomously Reasoning Single Agents

vllbc — Wed, 10 Sep 2025 00:00:00 +0000

将多轮对话用单轮训练，类似verl-agent的做法，当上下文较长时会总结成summary。

论文深度解读：从“思考模型”到“行动专家”的进化之路

这篇来自 Salesforce AI Research 的论文，核心目标是解决一个当前大模型（LLM）智能体领域极具挑战性的问题：如何高效地训练一个自主单智能体（Autonomous Single-Agent），使其能够在没有人类持续干预的情况下，独立完成需要广泛搜索、深度整合信息和复杂推理的深度研究（Deep Research, DR）任务。

ReSearch：Learning to Reason with Search for LLMs via Reinforcement Learning

vllbc — Tue, 09 Sep 2025 00:00:00 +0000

和Search-R1：Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning的区别就是多了个格式奖励。

这篇论文的核心贡献在于提出了一种名为 ReSearch 的新颖框架，它利用强化学习（Reinforcement Learning）来训练大语言模型（LLM）在推理过程中主动、智能地使用搜索工具，而整个训练过程完全不需要人工标注的推理步骤数据。这标志着从传统的、相对固化的“检索-增强-生成”（RAG）模式，向一种更动态、更智能的“边思考边搜索”的代理（Agent）行为模式的重大转变。

AI-SEARCHPLANNER：MODULAR AGENTIC SEARCH VIA PARETO-OPTIMAL MULTI-OBJECTIVE REINFORCEMENT LEARNING

vllbc — Sat, 30 Aug 2025 00:00:00 +0000

将与搜索工具交互与答案整理分离，也就是术业有专攻。根据最终答案的正确奖励来优化搜索llm。

论文深度解读

首先，让我们对这篇论文进行一个全面的剖析。当前，利用大语言模型（LLM）与搜索引擎结合来解决复杂问题已成为主流。一种常见的方法是使用强化学习（RL）来训练一个模型，让它学会如何与搜索引擎进行多轮交互，这个过程我们称之为智能体搜索（Agentic Search）。然而，论文敏锐地指出了现有方法的症结所在：

SSRL：SELF-SEARCH REINFORCEMENT LEARNING

vllbc — Mon, 18 Aug 2025 00:00:00 +0000

相较于Search-R1：Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning的使用真实的搜索引擎和ZEROSEARCH：Incentivize the Search Capability of LLMs without Searching使用虚拟的训练的大模型作为搜索引擎，这篇论文直接让自己当搜索引擎，更节省成本。

ParallelSearch：Train your LLMs to Decompose Query and Search Sub-queries in Parallel with Reinforcement Learning

vllbc — Fri, 15 Aug 2025 00:00:00 +0000

和TURA：Tool-Augmented Unified Retrieval Agent for AI Search一样，考虑的是并行的工具调用，不过TURA是整个系统，通过DAG来编排工具调用（外部LLM）。而本文研究的是提高大模型本身并行调用工具的能力。从而节省很多时间。

TURA：Tool-Augmented Unified Retrieval Agent for AI Search

vllbc — Fri, 15 Aug 2025 00:00:00 +0000

问题分解->工具DAG编排（规划）->蒸馏小型执行器。

论文综合解读

这篇发表于2025年的论文，由百度公司的研究团队撰写，提出了一种名为 TURA (Tool-Augmented Unified Retrieval Agent for AI Search) 的新型AI搜索框架。TURA的核心目标是突破当前主流的、基于 检索增强生成 (Retrieval-Augmented Generation, RAG) 技术的AI搜索在处理真实世界复杂查询时的根本性限制。