GTPO：Trajectory-Based Policy Optimization in Large Language Models

针对信用分配问题和熵坍塌问题进行解决。名字虽然和GTPO and GRPO-S：Token and Sequence-Level Reward Shaping with Policy Entropy一样，但T的含义不同。也都是针对信用分配提出的方法。

论文深度解读：从GRPO的困境到GTPO的革新

这篇发表于2025年8月的论文，将目光聚焦于一种近期在业界崭露头角并取得显著成效的策略优化方法——群体相对策略优化（Group-relative Policy Optimization, GRPO）。GRPO通过对一组（a group）模型生成的多个候选答案（completions）进行比较，从而估计相对奖励，摆脱了传统强化学习对齐方法（如PPO）中对独立奖励模型（reward model）的依赖，在数学推理等任务上表现出色。然而，任何技术在初期都非完美，这篇论文的核心贡献，正是系统性地揭示并解决了GRPO存在的两大关键“暗疾”。

第一个“暗疾”是“梯度冲突”（Gradient Conflicts）。 在GRPO的框架下，模型会针对一个问题生成多个答案。这些答案中，有的可能整体是正确的（获得正向奖励），有的则是错误的（获得负向奖励）。问题在于，这些不同答案之间往往会共享一些完全相同的初始片段（prefix），比如一些用于格式化或引导思维链的特殊标签（如论文中提到的<reasoning>）。当一个包含正确格式标签的答案因为后续内容错误而被赋予负奖励时，GRPO的更新机制会“不分青红皂白”地惩罚这个答案中的所有词元（token），包括那些本该被鼓励的格式化标签。

正如论文第4.1节所指出的：“This implies that the update to a prefix mainly depends on the relative balance of advantages across all completions in group k.”

这意味着，一个共享前缀的梯度更新，取决于它所在的所有答案的奖励总和。如果包含这个前缀的正确答案碰巧比错误答案更长，根据GRPO的优势（advantage）计算方式，它的贡献可能会被稀释，导致整个前缀的更新方向是负面的。这会严重影响模型生成结构良好、符合指令的答案的能力。

第二个“暗疾”是“策略崩溃”（Policy Collapse）。 这是深度强化学习中一个更为普遍但在此场景下有新表现的问题。当模型对某个答案的输出变得高度自信（即输出分布的熵值很低）但这个答案又恰好是错误的时，GRPO会对其施加巨大的惩罚。这种惩罚会迫使模型降低对正确词元的置信度，同时“病急乱投医”般地提升其他所有（哪怕是毫不相干的）词元的概率。长此以往，模型的输出分布会变得越来越“扁平”，失去判断力，最终导致性能急剧下降，无论是准确率还是格式都一并崩溃。

论文的一个关键洞察在于，GRPO中用于防止模型偏离过远的KL散度（KL-divergence） 正则化项，对于预警和阻止策略崩溃反应过于迟钝。论文通过实验清晰地展示了这一点：

从论文的图1（Figure 1）中可以清晰地看到，在使用LLaMA-8B模型进行训练时，代表模型性能的格式化奖励（Formatting）大约在第750步左右开始断崖式下跌，这标志着策略崩溃的发生。但此时，KL散度曲线几乎没有变化，依然平稳。直到大约1200步，当模型性能已经“病入膏肓”时，KL散度才开始急剧上升，试图“亡羊补牢”。

与之形成鲜明对比的是熵（Entropy） 曲线。在奖励下降的同时，熵值开始急剧攀升，成为了一个更灵敏、更及时的“病情”指示器。

基于以上两大问题的深刻洞察，论文提出了创新的解决方案——基于轨迹的群体相对策略优化（Group-relative Trajectory-based Policy Optimization, GTPO）。GTPO的核心思想是将每个答案视为一个完整的决策“轨迹”，并从两个层面进行优化：

1. 冲突感知梯度修正（Conflict-Aware Gradient Correction）：为了解决梯度冲突，GTPO首先会识别出在正、负奖励答案的相同位置上都出现的“冲突词元”。然后，它设计了一个精巧的梯度掩码（masking）机制。对于这些冲突词元，如果它们出现在负奖励的答案中，GTPO会直接屏蔽掉对它们的惩罚；如果出现在正奖励的答案中，则加倍奖励它们。这种“扬善抑恶”的精细化操作，保护了如格式化标签这类关键结构性词元，避免了“错杀”。

2. 基于熵的策略正则化（Entropy-Based Policy Regularization）：为了解决策略崩溃，GTPO摒弃了反应迟钝的KL散度，转而拥抱更敏感的熵。它引入了两个熵相关的机制：

   • 高熵答案过滤器：在训练开始前，GTPO会评估模型的初始熵水平。如果模型本身倾向于低熵（自信）输出，那么在训练中一旦发现某个答案的熵值超过了一个阈值（如ln(2)），GTPO就会认为这个答案“精神错乱”，直接过滤掉它，不让它的梯度污染整个模型。
   • 熵正则化项：在损失函数中，GTPO加入了一个直接最小化输出熵的正则项。这与传统PPO希望保持一定熵（探索）的做法不同，因为作者发现GRPO本身就有内在的熵增趋势，所以需要反向施加一个力，鼓励模型保持“自信”和“专注”。

通过这两大创新，GTPO不仅解决了GRPO的内在矛盾，还带来了一个额外的好处：因为它不再需要KL散度，所以也不再需要一个额外的参考模型（reference model），这使得训练过程更轻量、更快速。

### 1. 论文的研究目标与意义

• 研究目标：本文的核心研究目标是识别、分析并解决GRPO (Group-relative Policy Optimization) 方法中存在的两个主要缺陷：梯度冲突 (gradient conflicts) 和 策略崩溃 (policy collapse)。
• 解决的实际问题：在实际的大模型对齐训练中，工程师们常常会遇到模型性能在训练后期不升反降、或是模型无法稳定学会遵循特定输出格式的问题。这篇论文精准地定位了导致这些不稳定现象的微观（梯度层面）和宏观（策略层面）原因，并提出了一个更稳定、更高效的优化算法GTPO。
• 行业意义：随着大模型从“预训练”走向“精调对齐”，基于强化学习的对齐技术（如RLHF）已成为提升模型能力、使其遵循人类偏好的关键。GRPO作为一种很有前景的无奖励模型（reward-model-free）的对齐方法，其稳定性和效率直接关系到能否低成本、高效率地训练出更强大、更可靠的特定任务模型（如代码生成、数学推理等）。GTPO的提出，为整个行业提供了一个更鲁棒的对齐技术选项，有助于推动大模型在需要高精度和高可靠性场景下的应用落地。

### 2. 论文提出的新思路与优势

论文提出的核心新方法是GTPO (Group-relative Trajectory-based Policy Optimization)。相较于之前的GRPO方法，其特点和优势体现在以下几个方面，我们可以通过一个表格来清晰对比：

论文在第5.1节中详细描述了冲突感知的梯度修正机制，其核心是λ_i,t这个权重：

λ_i,t = { 1 if M_i,t = 0 (非冲突词元), 0 if M_i,t = 1 and A_i < 0 (负奖励中的冲突词元), 2 if M_i,t = 1 and A_i > 0 (正奖励中的冲突词元) }

这个简单的分段函数，精准地体现了GTPO“保护”、“惩罚”和“奖励”的精细化思想，是其相比GRPO的一大核心创新。

### 3. 实验设计与结果

论文通过一系列严谨的实验来验证GTPO的有效性。

• 实验设计:
  • 模型: 实验选用了LLaMA-8B和Qwen 2.5 (3B) 两个不同架构和大小的模型，以验证方法的通用性。
  • 数据集: 训练和评测使用了学术界公认的高难度数学推理基准GSM8K和MATH。此外，还使用了AIME2024数据集进行域外泛化能力 (Out-of-distribution) 的测试。
  • 对比基线: 实验将GTPO与SFT (Supervised Fine-tuning) 和不同参数设置的GRPO（包括不使用KL散度的β=0版本和论文推荐的β=10^-6版本）进行了全面对比。
  • 评估指标: 采用了pass@k（在k个答案中至少有一个正确）和maj@k（在k个答案中通过投票得出正确答案）两个核心指标，全面评估模型的准确率和一致性。
• 实验数据与结果:
  • 训练稳定性: 论文的图2（上）清晰地展示了GTPO在训练过程中的优越性。在LLaMA-8B于MATH数据集上的训练中，GRPO的准确率和格式分在训练后期都出现了明显的策略崩溃，而GTPO则能持续稳定提升，最终达到远超GRPO的性能。
  • In-distribution性能: 图2（下）的结果显示，在GSM8K和MATH的测试集上，GTPO在pass@k和maj@k指标上几乎全面优于所有GRPO的变体。例如，在LLaMA-MATH任务中，当k=30时，GTPO的maj@k接近40%，而GRPO则低于25%。这表明GTPO训练出的模型不仅更准确，而且其多个答案之间的一致性也更强。
  • Out-of-distribution泛化能力: 在更具挑战性的AIME2024数据集上（图3），GTPO的优势进一步凸显。尤其是在MATH数据集上训练后，GTPO在AIME上的pass@k表现显著优于GRPO和SFT，显示出其更强的泛化能力。

这些实验结果强有力地证明了GTPO不仅在理论上是创新的，在实践中也是切实有效的。

### 4. 未来研究方向与机遇

结合当前大模型领域的发展，这篇论文的研究方向可以衍生出以下值得探索的问题和机遇：

• 挑战与问题:
  1. 自适应熵阈值: 论文中GTPO的熵过滤阈值（ln(2)）是固定的。未来的研究可以探索一种动态的、自适应的熵阈值机制，让模型可以根据自身状态和任务难度，智能地调整“自信”与“探索”的边界。论文在结论中也提到了这一点：“A promising future direction will be to further investigate a theoretical minimum entropy threshold”。
  2. 更广义的“冲突”定义: 目前对“冲突词元”的定义是基于位置的。能否将其扩展到语义层面？比如，“The answer is”和“Here is the solution”在语义上是冲突的吗？研究更复杂的冲突检测机制，可能会带来进一步的性能提升。
  3. 与其他对齐方法的结合: GTPO解决了GRPO的问题，但它能否与DPO (Direct Preference Optimization)等其他主流对齐方法结合，取长补短，形成更强大的混合对齐框架？
• 技术与投资机会:
  1. AI对齐平台即服务 (Alignment-as-a-Service): GTPO这类更稳定、更轻量的对齐技术，降低了高质量模型精调的门槛。这为提供自动化、高效率的AI模型对齐服务的初创公司创造了机会。企业可以不再需要自己组建庞大的RLHF团队，而是通过平台服务来定制和优化自己的专属模型。
  2. 模型诊断与可观测性工具: 论文强调了熵作为模型状态“晴雨表”的重要性。这启发我们可以开发更先进的模型训练可观测性工具，通过监控熵、梯度分布等深度指标，实时诊断模型健康状况，预测并规避策略崩溃等训练风险，这将是AI基础设施层的一个重要投资方向。

### 5. 论文的不足与存疑之处

从批判的视角来看，这篇论文虽然贡献突出，但仍存在一些可以探讨的局限性：

• 实验范围的局限性: 论文的实验主要集中在数学推理 (Mathematical Reasoning) 任务上。这类任务的答案结构化程度高、对错分明。GTPO在更开放、更主观的领域，如创意写作、长文本摘要、日常对话等，其有效性还有待验证。在这些任务中，“冲突词元”的定义和奖励的评估都会变得更加模糊。
• 模型规模的限制: 实验采用的LLaMA-8B和Qwen 2.5-3B在2025年的标准下属于中小型模型。该方法在更大规模的模型（如70B、千亿级模型或MoE架构）上是否依然有效，以及其超参数（如熵正则化系数γ）是否需要重新调整，是需要进一步验证的问题。
• 对“有益冲突”的潜在压制: GTPO的核心假设是冲突是不好的。但在某些探索性任务中，在同一位置产生不同（甚至相互冲突）的词元，可能正是模型探索不同解决方案路径的有益体现。GTPO的机制是否会过度压制这种有益的探索，从而导致模型过早地收敛到局部最优解，这是一个值得深思的问题。
• 超参数γ的敏感性: 论文的消融研究（图4）显示，熵正则化系数γ的取值对最终性能有显著影响。虽然论文给出了一组实验结果，但并没有提供一个清晰的理论指导或自适应方法来选择最优的γ，这在实际应用中可能会增加调参的难度。

### 6. 核心启发与知识补充

对于希望从这篇论文中汲取创新想法的读者，以下几点是您应该重点学习和思考的：

• 核心启发:
  1. 熵是比KL散度更灵敏的模型状态“探针”: 这是本文最具价值的洞察之一。在您的模型训练（尤其是强化学习）中，请密切监控输出熵的变化。熵的异常飙升往往是模型即将“崩溃”的强烈信号，比KL散度等传统指标更值得信赖。
  2. 从“一刀切”到“精准调控”的梯度更新: 不要将一个被赋予负奖励的序列中的所有部分都视为“坏”的。学习GTPO的思想，识别出序列中那些与最终失败无关、甚至是有益的“结构性”部分，并对它们进行保护性或差异化的梯度更新。这个思想可以应用到任何基于序列反馈的优化任务中。
  3. 用更直接的机制替代复杂的正则化: GTPO用简单的熵正则化和过滤器替代了需要参考模型的KL散度，既提升了效果又降低了复杂性。在您自己的研究中，当遇到一个复杂问题时，可以思考一下是否有可能找到一个更直接、更根本的指标来进行调控，而不是沿用传统的复杂方案。
• 需要补充的背景知识:
  1. PPO (Proximal Policy Optimization): 这是理解几乎所有现代LLM强化学习对齐方法的基础。您需要了解其核心思想，特别是优势函数（Advantage Function）和Clipped Surrogate Objective。
  2. RLHF (Reinforcement Learning from Human Feedback): 了解RLHF的完整流程，包括SFT、奖励模型训练和PPO优化这三个阶段。这将帮助您理解GRPO和GTPO试图解决的是哪个环节的问题。
  3. 信息熵 (Shannon Entropy): 重新回顾信息熵的定义及其在概率分布中的含义（衡量不确定性）。这将帮助您深刻理解为什么熵可以作为模型“混乱”程度的度量。

总而言之，这篇论文是一次非常精彩的学术探索，它从一个看似成熟的领域（GRPO）中挖掘出深层次的问题，并通过优雅而有效的方法予以解决，为大模型对齐技术的发展提供了重要的理论洞察和实践工具。