Cot_compress - 标签 - vllbc02's blogs

Less is More Tokens：Efficient Math Reasoning via Difficulty-Aware Chain-of-Thought Distillation

vllbc — Tue, 09 Sep 2025 00:00:00 +0000

利用dpo来压缩思维链，和Pruning Long Chain-of-Thought of Large Reasoning Models via Small-Scale Preference Optimization思路很像。本文的方法是先生成，后压缩，然后利用压缩后和压缩前的作为偏好数据训练。

ThinkDial：An Open Recipe for Controlling Reasoning Effort in Large Language Models

vllbc — Fri, 29 Aug 2025 00:00:00 +0000

自适应思考，让模型自己选择思考模式（sft阶段赋予）。主要在于其设计的奖励函数，其发现了推理长度hacking，设计了奖励来引导。

论文深度解读：揭开可控推理的“开放秘方”

大型语言模型，尤其是通过思维链（Chain-of-thought, CoT） 进行复杂推理的模型，其强大的能力背后是高昂的计算成本。模型在思考时生成的每一个“token”（词或字符）都意味着实实在在的算力消耗和时间延迟。然而，并非所有任务都需要模型“全力以赴”。一个简单的客服问答和一个需要深度逻辑推演的数学难题，对推理深度的要求截然不同。当前，像OpenAI的gpt-oss系列模型已经展示了通过“高、中、低”等离散模式来控制推理投入的先进能力，用户可以根据需求选择模式，从而在效果和成本之间取得平衡。但这套技术是闭源的，开源社区一直缺少一套行之有效的方法论来复现这种能力。

Think in Blocks：Adaptive Reasoning from Direct Response to Deep Reasoning

vllbc — Sat, 23 Aug 2025 00:00:00 +0000

缩减思维链长度。

这篇论文的核心目标是解决当前大语言模型（LLMs）普遍存在的“过度思考”（Overthinking）问题。具体来说，许多强大的模型，无论面对“1+1=?”这样的简单问题，还是复杂的微积分难题，都会生成长度相近、步骤繁琐的思维链（Chain-of-Thought, CoT），这不仅造成了巨大的计算资源浪费，也显著增加了响应延迟，限制了其在实际应用中的效率。

Promoting Efficient Reasoning with Verifiable Stepwise Reward

vllbc — Mon, 18 Aug 2025 00:00:00 +0000

思想和Good Learners Think Their Thinking：Generative PRM Makes Large Reasoning Model More Efficient Math Learne非常相似，都是对step重新划分然后针对step计算奖励

论文深度解读

这篇论文的核心目标是解决大型推理模型（Large Reasoning Models, LRMs）在处理复杂任务时普遍存在的“过度思考”（Overthinking）问题。所谓“过度思考”，指的是模型在面对一些相对简单的问题时，仍然会生成过长、冗余的推理链（Chain-of-Thought, CoT），这不仅大大增加了计算成本和推理时间，有时甚至会因为引入不必要的干扰而降低准确率。这个问题已经成为制约LRMs在真实世界中大规模、经济地部署的关键障碍。

Pruning Long Chain-of-Thought of Large Reasoning Models via Small-Scale Preference Optimization

vllbc — Mon, 18 Aug 2025 00:00:00 +0000

一开始还以为是GRPO的变式，没想到是DPO的变式。对于回答正确的回复，短的为winner，长的为loser。数据筛选部分使用的方法是对一个问题多次回答，根据正确率来判断难度。

Sample More to Think Less：Group Filtered Policy Optimization for Concise Reasoning

vllbc — Fri, 15 Aug 2025 00:00:00 +0000

压缩cot的工作，类似LAPO：INTERNALIZING REASONING EFFICIENCY VIA LENGTH-ADAPTIVE POLICY OPTIMIZATION，这篇叫做GFPO。

这篇论文直面了当前大模型领域一个非常棘手且普遍的问题：在通过强化学习（Reinforcement Learning）进行对齐训练时，模型为了追求更高的奖励（reward），往往会产生越来越长、越来越啰嗦的回答。这种现象被称为“长度膨胀”（Length Inflation）。尽管更长的回答在处理复杂问题时有时是必要的，但很多时候模型只是在生成重复、冗长的“填充性”文本，这不仅极大地增加了推理的计算成本和延迟，有时甚至会因为引入过多无关信息而降低回答的准确性。

TRAIN LONG, THINK SHORT：CURRICULUM LEARNING FOR EFFICIENT REASONING

vllbc — Thu, 14 Aug 2025 00:00:00 +0000

课程学习，逐步压缩思维链，思想类似于LAPO：INTERNALIZING REASONING EFFICIENCY VIA LENGTH-ADAPTIVE POLICY OPTIMIZATION

论文深度解读：从“长篇大论”到“言简意赅”的智能进化

这篇论文（可以在arXiv:2508.08940v1上访问）的核心贡献在于，它巧妙地将课程学习（Curriculum Learning） 的思想引入到大型语言模型的推理能力训练中，旨在解决一个日益突出的矛盾：我们既希望模型具备强大的、多步骤的复杂推理能力（这通常需要长的“思考链”，即Chain-of-Thought），又希望它在推理时尽可能地节省计算资源（即使用更少的token）。

LAPO：INTERNALIZING REASONING EFFICIENCY VIA LENGTH-ADAPTIVE POLICY OPTIMIZATION

vllbc — Mon, 04 Aug 2025 00:00:00 +0000

一言以蔽之就是对于一个问题找出n个正确回答的长度中位数，然后将这个数放到prompt提示大模型，进行GRPO的训练。两个阶段有不同的奖励。

首先，我将为您呈现对这篇论文的整体性深度解读。