Parallel-R1：Towards Parallel Thinking via Reinforcement Learning

直接在推理时训练模式生成多条推理路径的能力并总结所有的路径。类似Learning to Refine：Self-Refinement of Parallel Reasoning in LLMs，其中并行推理的思路也类似ParallelSearch：Train your LLMs to Decompose Query and Search Sub-queries in Parallel with Reinforcement Learning。在训练时还结合了课程学习，在简单问题上强制并行推理（必须并行推理才给奖励），在困难问题上就只给结果奖励。

论文深度解读

这篇由腾讯AI Lab等机构研究员撰写的论文《Parallel-R1》 (https://arxiv.org/abs/2509.07980)，提出了首个旨在通过强化学习（Reinforcement Learning, RL）从零开始教会大语言模型（LLM）进行平行思考（Parallel Thinking）的框架。平行思考，顾名思义，是指模型在解决问题时，能够同时探索多条不同的推理路径或解决方案，最后综合这些路径得出结论。这与传统模型主要依赖的“单线程”的思维链（Chain-of-Thought, CoT）形成了鲜明对比，后者一旦在某个中间步骤出错，就很容易“一条道走到黑”。

论文的核心洞见在于，当前激活LLM平行思考能力的方法主要有两类，但都存在明显缺陷： 1. 测试时策略（Test-time Strategies）：例如思维树（Tree of Thoughts, ToT）等方法，它们在模型进行推理时，通过外部程序强行引导模型生成多个分支。这类方法虽然有效，但会带来巨大的推理开销（Inference Overhead），使得应用成本高昂。 2. 训练时模仿（Training-based Approaches）：主要依赖监督微调（Supervised Fine-tuning, SFT），让模型去模仿预先生成好的、包含平行思考过程的数据。这种方法的瓶颈在于高质量的平行思考数据极难获取，尤其对于复杂问题。同时，模型仅仅是在“行为克隆”，并未真正内化探索和泛化的能力。

正如论文在摘要中所指出的：“…existing methods predominantly rely on supervised fine-tuning (SFT) over synthetic data, which encourages teacher-forced imitation rather than exploration and generalization.” > （…现有方法主要依赖于合成数据上的监督微调（SFT），这鼓励了教师强制的模仿，而不是探索和泛化。）

为了克服这些挑战，Parallel-R1框架巧妙地将渐进式课程学习（Progressive Curriculum）与强化学习（RL）相结合。这个框架的设计哲学是：不要试图一步到位让模型在难题上学会平行思考，而是分阶段、由易到难地引导它。

第一步：解决“冷启动”问题 RL训练的一个前提是，模型需要能自发地产生一些值得奖励的行为，RL算法才能在此基础上进行优化。但一个从未见过平行思考的LLM，根本不知道如何生成<Parallel>、<Path>这样的结构化文本。这就是冷启动（Cold-start）问题。 论文的解决方案是，先在相对简单的数学任务（GSM8K）上，通过精心设计的提示（Prompt）让一个强大的“教师模型”生成一批包含平行思考路径的数据。然后，用这些数据对目标模型进行SFT。这一阶段的目的非常纯粹：只教会模型平行思考的“格式”，让它知道应该在何时、以何种结构（使用<Parallel>, <Path>, <Summary>等标签）来表达多条推理路径。

第二步：通过RL进行探索和泛化 当模型掌握了基本格式后，就进入了RL阶段。这个阶段也分为两步： * 在简单任务上强化：继续使用GSM8K数据集，但这次用RL来训练。论文设计了一个混合奖励：R_final = R_parallel × R_acc，即只有当模型同时使用了平行思考结构并且答案正确时，才给予正奖励。这确保了模型不仅会用，而且会用对地方。 * 在困难任务上泛化：最后，将模型迁移到更难的数学数据集（如DAPO）上，此时的奖励函数简化为只看最终答案的准确性（Accuracy）。因为模型已经内化了平行思考的能力，现在RL的目标是让模型自由探索，将这项能力作为解决复杂问题的工具，以最大化最终的成功率。

核心发现与贡献 论文通过大量的实验，得出了几个非常深刻的结论： 1. 框架的有效性：实验结果表明，Parallel-R1框架显著优于基线模型。例如，在多个数学基准测试中，其最佳变体Parallel-R1-Seen的平均分达到48.9，超过了标准的RL基线（45.1）。特别是在高难度的AIME25测试中，相比基线实现了42.9%的性能提升。

2. 平行思考行为的演化：这是论文最有趣的发现之一。通过分析训练过程，研究者发现模型使用平行思考的策略在悄然改变。
   • 训练早期：模型倾向于在推理过程的早期使用平行思考，把它当作一种计算探索（Computational Exploration）的工具，来寻找可能的解题思路。
   • 训练后期：随着模型自身推理能力的增强，它变得更加“自信”和“保守”，倾向于在推理的末尾才使用平行思考，将其作为一种多角度验证（Multi-perspective Verification）的手段，来确认自己初步得出的答案是否可靠。

   上图（论文图3）清晰地展示了<Parallel>模块在生成文本中的相对位置随着训练步数的增加而稳步后移，直观地证明了这一策略演化。

3. 平行思考作为“训练中期的探索脚手架”：这是论文提出的一个极具价值的概念。研究者设计了一个实验，在训练的前200步强制模型高频率地使用平行思考（探索阶段），之后切换为只奖励准确率（利用阶段）。结果发现，即使在后期模型减少了平行思考的使用，其最终性能峰值（在AIME25上达到25.6%）也远高于从一开始就只用准确率奖励的基线模型。这表明，强制探索的经历帮助模型发现了一个更好的“策略空间”，即使之后不再强制，模型也能从中受益。这就像给初学者一个“脚手架”，帮助他们达到更高的高度，之后即便拆除脚手架，他们也已经站在了新的起点上。

总而言之，《Parallel-R1》不仅仅是提出了一个有效的训练方法，更重要的是，它深入剖析了LLM学习复杂推理策略的动态过程，为我们理解和引导模型的“思考”方式提供了宝贵的经验和全新的视角。

### 1. 论文的研究目标是什么？ 想要解决什么实际问题？这个问题对于行业发展有什么重要意义?

• 研究目标： 本文的核心研究目标是，开发一个训练框架，使大语言模型（LLM）能够内在地、自适应地掌握平行思考（Parallel Thinking）的能力，而不是依赖高成本的外部推理时策略或效果有限的监督微调。

• 想要解决的实际问题：

  1. 提升复杂推理的鲁棒性：在数学、逻辑、规划等需要多步推理的任务中，LLM 常常因为“一步错，步步错”而失败。平行思考允许多路探索，大大增加了找到正确路径的概率，从而提高了模型的鲁棒性和问题解决能力。
  2. 降低高级推理能力的部署成本：像思维树（ToT）这样的方法，虽然能模拟平行思考，但其推理成本可能是标准方法的数倍甚至数十倍。如果能将这种能力“编译”进模型权重本身，就可以在保持高性能的同时，实现与标准模型相当的低成本推理。

• 对行业发展的重要意义： 这项研究对于推动LLM从一个“语言模型”向一个真正的“推理引擎”或“问题解决代理（Agent）**”转变具有重要意义。

  • 通往更强通用人工智能（AGI）的路径：人类在面对难题时，会本能地进行发散性思考和多角度论证。教会LLM平行思考，是使其认知架构更接近人类的重要一步。
  • 解锁新应用场景：在科学发现、药物研发、代码优化、法律分析等领域，需要权衡多种可能性并找到最优解。具备平行思考能力的模型将成为这些领域强大的辅助工具。
  • 提升模型的可解释性和可信度：通过让模型展示其考虑过的多种不同路径以及最终的选择依据（在<Summary>标签中），我们可以更好地理解其决策过程，从而提升对模型输出的信任度。

### 2. 论文提出了哪些新的思路、方法或模型？跟之前的方法相比有什么特点和优势？

• 新的思路与方法： 核心是“渐进式课程RL框架” (Progressive Curriculum RL Framework)。这个框架将复杂的学习任务分解为三个循序渐进的阶段，优雅地解决了直接用RL训练的“冷启动”难题。

  渐进式课程（Progressive Curriculum）

  1. 冷启动SFT阶段：在简单任务（GSM8K）上，通过SFT只教会模型平行思考的语法格式。
  2. 简单任务RL阶段：在简单任务上，用RL和混合奖励，强化模型在正确场景下使用该格式的能力。
  3. 困难任务RL阶段：在困难任务（DAPO）上，用RL和纯准确率奖励，让模型将平行思考能力泛化为一种通用的解题工具。

• 与之前方法的比较、特点和优势：

  • 相比SFT方法：
    • 特点：Parallel-R1不依赖于为最终困难任务手动创建或生成高质量的平行思考数据。它通过RL让模型自己去探索。
    • 优势：可扩展性强且能发现新知识。SFT方法上限受限于数据质量，模型只能模仿。而RL方法允许模型在探索中发现数据中从未见过的、更优的推理路径，潜力更大。
  • 相比测试时（Test-time）方法：
    • 特点：Parallel-R1是将能力内化（Instill）到模型参数中，而ToT等方法是外挂（External）的。
    • 优势：推理效率高。一旦训练完成，模型在推理时可以自发地进行平行思考，无需复杂的外部控制器和多次模型调用，成本远低于测试时方法。
  • 相比朴素的RL方法：
    • 特点：引入了“冷启动SFT”和“渐进式课程”。
    • 优势：解决了训练可行性问题。直接在复杂任务上用RL训练模型学习一种全新的行为范式是极其困难的，因为初始的随机探索很难产生任何有意义的平行思考轨迹。该框架通过先教格式，再教行为，最后促泛化，大大降低了学习难度，提高了训练的稳定性和效率。

### 3. 论文通过什么实验来验证所提出方法的有效性？实验是如何设计的？实验数据和结果如何？

论文设计了一系列严谨的实验来验证其方法的有效性，包括主实验和多项消融研究（Ablation Study）。

• 实验设计：

  • 基座模型：选择了在同等规模下表现优异的开源模型 Qwen-3-4B-Base。
  • 对比基线：
    1. Qwen3-4B-Base：原始基础模型。
    2. SFT + Parallel：只进行冷启动SFT，不进行RL。
    3. GRPO (DAPO)：标准的RL方法，直接在困难任务上训练，没有平行思考课程。
    4. + RL on GSM8K：在标准RL之前，增加了一个在简单任务上的RL预热，但没有平行思考的引导。
  • 评测基准：使用了四个高难度的数学推理基准测试集：AIME’25, AIME’24, AMC’23, 和 MATH。

• 关键实验数据和结果： > 主实验结果 (Table 2) > | Method | Avg. Score | > | :— | :—: | > | Qwen3-4B-Base | 6.6 | > | GRPO (DAPO) (标准RL基线) | 45.1 | > | Parallel-R1-Seen (本文方法) | 48.9 | > | Parallel-R1-Unseen (S2) | 46.8 |

  从上表可以看出，本文提出的Parallel-R1-Seen模型取得了最高的平均分 (48.9)，显著优于所有基线，证明了其框架的有效性。

  消融研究：奖励机制的重要性 (Table 4) 针对Parallel-R1-Unseen模型，论文比较了三种不同的奖励策略： | Reward Configuration | Parallel Ratio (%) | AIME 25 Perf. | | :— | :—: | :—: | | Accuracy-only | 13.6 | 17.7 | | Parallel-only | 80.3 | 17.7 | | Alternating Acc./Parallel (本文方案) | 63.0 | 19.0 |

  这个实验结果极具启发性：

  • 只奖励准确率，模型会“偷懒”，很少使用平行思考（只有13.6%）。
  • 只奖励平行结构，模型会为了奖励而“形式主义”，过度使用平行思考（高达80.3%），反而损害了性能。
  • 交替奖励策略则取得了最佳的平衡，既激发了模型进行平行思考，又取得了最高的性能。

### 4. 结合大模型领域的当前学术理解，未来在该研究方向上还有哪些值得进一步探索的问题和挑战？

• 值得探索的问题和挑战：
  1. 跨领域泛化：当前研究集中在数学领域，因为答案有明确的对错。如何将平行思考能力泛化到开放域任务，如代码生成（探索不同算法实现）、创意写作（构思不同故事线）、科学假说提出等，是一个巨大的挑战。这些领域的奖励函数设计将更为复杂。
  2. 更深度的结构化思考：平行思考是第一步，未来可以探索更复杂的思考模式，例如递归思考（Recursive Thinking，即对思考过程本身进行反思）和类比推理（Analogical Reasoning），并研究如何通过训练内化这些能力。
  3. 模型架构创新：论文中结构化的Parallel-R1-Unseen版本效果不及非结构化的版本，这暗示当前的Transformer架构可能不是进行并行推理的最优选择。未来可以探索专门为并行计算设计的新型模型架构，例如包含多个并行计算“核心”的MoE（Mixture-of-Experts）变体。
  4. 动态资源分配：在平行思考时，并非所有路径都同等重要。如何让模型学会动态地为不同的推理路径分配计算资源，将更多的“算力”投入到更有希望的路径上，是一个值得研究的方向。
• 可能催生的新技术和投资机会：
  • 新技术：
    • 下一代AI Agent框架：能够原生支持并行规划和执行的AI代理。
    • 专业领域“协处理器”模型：训练专门用于在特定领域（如法律、金融）进行多方案分析和风险评估的LLM。
    • 自动化科学发现平台：利用具备平行思考能力的模型来大规模生成和验证科学假说。
  • 投资机会：
    • 初创公司：专注于开发内置高级推理能力（如平行思考）的、针对特定行业的垂直领域大模型。
    • AI基础设施：开发能够高效服务和优化这类并行推理模型的硬件和软件系统。
    • AI for Science：投资于利用这些先进模型加速基础科学研究和应用科学（如新材料、新药物）发现的公司。

### 5. 退一步，从批判的视角看，这篇论文还存在哪些不足及缺失？

尽管这篇论文非常出色，但从批判性角度看，仍存在一些可以深入探讨的方面： * 模型规模的局限性：实验是在一个4B参数规模的模型上进行的。对于更大规模的顶尖模型（如GPT-4、Claude 3等），它们本身可能已经具备了一定的潜在平行推理能力。Parallel-R1框架在这些大模型上的效果如何，学习动态是否会发生变化，是一个未知数。 * “教师”模型的依赖：冷启动阶段的数据依赖于一个更强大的“教师模型”（DeepSeek-R1）。这意味着学习到的平行思考模式可能受限于教师模型的能力边界，难以“青出于蓝而胜于蓝”。 * 推理开销的讨论不足：虽然论文声称其方法比测试时方法更高效，但生成多条路径终究比生成单条路径的开销要大。论文中缺少对这种增量开销的定量分析，以及与性能提升之间的权衡（trade-off）讨论。 * 平行思考的“必要性”存疑：实验显示，在训练后期，模型会自发减少平行思考的使用频率。这引发一个问题：平行思考本身是一个最优的最终策略，还是仅仅是一个优秀的“助推器”？对于某些任务，是否一个推理能力极强的单线程模型就足够了？ * 结构化模型的潜力未被完全挖掘：Parallel-R1-Unseen（结构化版本）表现不佳，这可能不仅仅是架构和RL训练不匹配的问题，也可能是训练策略（如奖励设计）还不够精细。如何为带有强归纳偏置的结构化模型设计更有效的RL训练方法，本身就是一个开放性问题。

### 6. 我希望从这篇论文中找一些拿来即用的创新想法，我应该从这篇论文中重点学什么？有哪些启发？

对于希望从中汲取创新想法的您来说，这篇论文的价值远不止于“平行思考”本身。以下是几个我认为最关键的、可以迁移应用的启发点：

• 核心启发一：将“复杂行为”的学习分解为“格式学习”和“能力学习”
  • 学什么：Parallel-R1最精妙的设计就是渐进式课程。当你想教会模型一个全新的、复杂的行为时，不要指望一个RL算法能一步到位。
  • 怎么用：
    1. 定义格式：首先，为你希望模型学习的行为定义一个清晰的、结构化的输出格式。
    2. SFT教格式：用SFT的方式，先教会模型稳定地生成这种格式。这个阶段的目标不是追求正确性，而是追求形式上的合规。
    3. RL教能力：在模型掌握格式后，再用RL去优化其内容的质量和应用的恰当性。
  • 例子：如果你想训练一个会自动进行自我批判和修正的模型，可以先定义<Initial_Answer>, <Self_Critique>, <Revised_Answer>这样的标签，用SFT教会模型这个流程，然后再用RL奖励那些能有效提升最终答案质量的批判和修正。
• 核心启发二：把“过程”本身作为一种“临时训练脚手架”
  • 学什么：论文中最深刻的洞见是“mid-training exploration scaffold”的概念。一个在训练中被强制执行的过程，其价值可能不在于这个过程本身，而在于它能引导模型探索到更好的参数空间。
  • 怎么用：在你的训练流程中，可以设计一个探索阶段和一个利用阶段。在探索阶段，通过特殊的奖励或约束，强制模型使用某种你认为有益的特定行为（即使这会暂时牺牲一点性能）。在利用阶段，再切换回最终的目标奖励，让模型在探索到的新起点上自由优化。
  • 例子：训练一个代码生成模型时，可以在前期强制要求模型生成包含详细注释和单元测试的代码（过程奖励），后期再转为只奖励代码执行的正确性（最终目标）。前期的强制过程可能会帮助模型学习到更结构化、更鲁棒的编程模式。
• 核心启发三：“交替奖励”是解决“过程”与“结果”矛盾的实用工具
  • 学什么：在需要同时优化过程和结果时，如何设计奖励函数是一个难题。论文中“交替奖励准确率与平行结构”的策略是一个非常实用的解决方案。
  • 怎么用：不要试图设计一个复杂的公式把两者结合，可以简单地在一个训练窗口内（比如每10步），80%的时间奖励最终结果，20%的时间奖励你想要的过程。这种方法简单、稳定，且易于调整。
• 需要补充的背景知识：
  • 强化学习基础：特别是PPO (Proximal Policy Optimization)算法，它是目前LLM领域应用最广的RL算法。论文中使用的GRPO是其变体，但理解PPO是基础。
  • 思维链 (Chain-of-Thought, CoT) 和 思维树 (Tree of Thoughts, ToT)：深入了解这些提示工程和推理时策略，能让你更好地理解Parallel-R1所要解决的问题的背景和意义。
  • RLHF (Reinforcement Learning from Human Feedback) / DPO (Direct Preference Optimization)：了解当前主流LLM对齐训练的基本范式，这有助于你将Parallel-R1中的思想与行业标准实践相结合。

希望这份详尽的解读能帮助您全面、深入地理解这篇论文，并从中获得有价值的启发。如果您还有任何问题，随时可以继续提问。