RLVR 依赖单元测试、数值答案这类确定性验证信号，因而难以进入创意写作、共情对话等开放式任务。Rubicon 用一套结构化量规把“好”拆成多个可打分的维度：先写量规，再配数据，最后把量规同时用于奖励、监督和评估。基于 Qwen3-30B-A3B 的 Rubicon-preview 在 7 个开放式基准上从 65.29 提到 70.50，平均高于 671B DeepSeek-V3 的 68.08 2.42 个百分点，只用了 5K 多条训练样本。
问题：RLVR 的奖励必须可自动验证，开放任务的“好”没有唯一答案。 数学对答案、代码跑单测都能自动判对错；创意写作、情绪支持、写作风格这些任务，正确性是主观、多维的，RLVR 无法直接给奖励（§1）。
方法：量规优先，而不是数据优先。 先定义多维评分标准，再收集/合成匹配这些标准的数据；奖励是每个维度的分数向量，而不是一个标量。聚合时可用否决、饱和度感知、成对交互和定向塑形（§2、§3）。
结果：7 个开放基准平均 +5.21 个百分点。 Judge 提升 13.00、EQ 提升 6.20，IFEval 下降 1.85；平均比 DeepSeek-V3 高 2.42 个百分点。推理与通用能力平均基本持平，但 GPQA-D 下降 2.65、LCBv5 下降 4.34 个百分点。
代价：数据、算法与评价器细节都不够透明。 训练数据来自 900K+ 专有语料，只放出模型；论文没有给 RL 算法、rollout 数、GPU 数、critic 训练细节，也没有给量规数量/粒度的系统消融（§3、§4、§5）。
论文的出发点不是“RL 不够强”，而是“可验证奖励的供给有限”。
RLVR 的核心是“难生成、易验证”：模型很难直接写出正确答案，但验证答案是否正确却很容易。数学题可以匹配标准答案，代码可以跑单元测试，所以这些领域能大规模构造奖励。问题在于，这种数据虽然多，终究有限；更广阔的真实任务——创意写作、情感支持、风格控制、开放式问答——并没有唯一的正确答案（§1）。
论文把这套思路概括为“评估不对称”：验证一个候选输出，应该显著比生成它更容易。量规正是把这种不对称从“对/错”扩展到“多维质量”：即使没有标准答案，也可以判断一段回答是否真诚、是否具体、是否避免了说教腔、是否遵循了字数或格式约束（§2.1）。
RLVR 只告诉模型“对”或“错”。在开放式任务里，同一个问题可以有很多合理回答，差别在风格、深度、共情和约束满足；一个标量奖励无法指出“哪一维好、哪一维差”（§1、§2.2）。
论文发现，只依赖一条量规会诱发奖励攻击；但无节制地堆量规，无论人写还是 LLM 生成，收益也只有边际增长。真正决定效果的是量规的多样性、粒度、数量，以及训练配方（§1、§5）。
论文用“可度量”替代“可验证”：不是放弃标准，而是把标准写得更细、更可解释。这个选择也带来新的问题——量规本身是否可靠、critic 是否准确、模型会不会学会讨好量规而不是提升质量。这些问题贯穿全文（§3.2、§5）。
Rubicon 的位置不是“第一个用量规”，而是“把量规做成一套可规模化的 RL 系统”。
RLHF 先训练奖励模型，再用 PPO 一类算法优化策略；RLAIF 用 AI 反馈替代部分人类标注。它们能处理主观质量，但奖励模型是一个黑箱标量，难以解释“为什么这条回答更好”，也容易奖励攻击（§1、§2）。
数学答案匹配、代码单测、格式检查都属于这一类。信号可靠、可扩展，但只覆盖有明确正确答案的领域；论文认为这是 RLVR 的结构性上限，而不是暂时的数据问题（§1）。
论文提到若干同期工作也开始探索用量规/清单做奖励，例如 Gunjal 等、Li 等、Viswanathan 等。Rubicon 的差异在于同时处理量规构造、数据筛选、两阶段训练和奖励攻击防御，并报告了一个完整训练的 30B 模型（§1、§2）。
用一组书面规则指导模型行为，与量规思路相近。区别是 Rubicon 把规则变成可打分的多维向量，并直接进入 RL 奖励，而不只是用于生成修订意见推断（由 §2.1–2.2 的奖励向量定义与参考文献 Bai et al., 2022 推断；原文未直接比较两者）。
论文明确说，量规奖励不是一个全新的想法；真正的难点是“如何让它在 RL 训练里稳定工作”。这句话很重要：后面的贡献主要在系统层面，而不是单条公式（§1、§3）。
先定义评分标准，再配数据；先学约束，再学表达。
论文把量规写成 R = {r1, r2, …, rK}。每个维度 rk 由三部分组成：评价方面的描述 ck、一组有序的分数档位 {lk,1, …, lk,mk}，以及相对权重 wk（Eq.1）。这套表示既能描述“创意写作是否真诚”这种高层标准，也能描述“是否包含某个词”这种可程序化检查的硬约束（§2.1）。
给定输入 x、回答 y 和量规 R，奖励是一个向量 R(y|x, R) = [r1(y|x), …, rK(y|x)]（Eq.2）。最简单的聚合是加权求和 Rtotal = Σk wk · rk(y|x)；论文在此之上列了四种更复杂的聚合方式（§2.2）：
如果回答在某个不可协商的维度上失败（例如触发奖励攻击检测），其他维度再高也把总奖励清零。它相当于硬约束，而不是加权项（§2.2）。
用饱和函数压低某一维度超过阈值后的边际收益，鼓励模型在多个维度上均衡发展，而不是把一条量规刷到满分（§2.2）。
某些维度会互相促进或互相冲突，简单求和看不到。成对交互项可以表达“文风自然”和“信息密度”之间的权衡（§2.2）。
用非线性映射放大高分区间的分数差，让模型在已经不错的回答之间还能看到细粒度差异（§2.2）。
论文没有给出这四种聚合的具体公式、权重或消融结果；它把它们列为框架能力，而不是逐一验证的模块。因此页面不把它们写成“每个都有效”，只能说论文提出了这些选项（§2.2、§5）。
论文把流程概括为“rubric-first”：先构造模型可验证的量规，再筛选或合成符合这些量规的数据，最后把同一套量规复用于监督、奖励塑形和评估。这样数据采集、训练和评测用的是同一套标准，减少口径漂移（§2.1）。
量规库超过 10,000 条，来源包括人类专家、LLM（Qwen3-30B-A3B 自我批评或 Gemini 2.5 Pro API）以及人机迭代协作。量规的粒度也不一样：有的绑定某个数据集，有的在任务级别，有的像 HealthBench 那样按样本生成（§1、§2.1）。论文称，据作者所知，这是当时最大的量规奖励系统（Abstract、§1）。
数据侧来自一个 900K+ 实例的专有语料，覆盖社区问答、高质量考试、通用对话等来源，并有策略地采样以保证主题覆盖。最终用于 RL 的训练样本只有 5K 多条（§3、§4）。
论文观察到“跷跷板效应”：同时用指令遵循类量规和创意/共情类量规训练，两个目标会互相拉扯，整体表现反而下降。比如只训创意/共情的模型，Collie 下降 6.0 个百分点、IFEval 下降 5.9 个百分点；只训指令遵循的模型，EQ-Bench3 下降 2.2 个百分点（§4.4、Figure 2）。
解决方案是分阶段：第一阶段用可程序化验证的检查和静态量规，建立可靠的指令遵循与多维评估对齐；第二阶段再转向开放式、社会性和创意任务，用量规参考和按样本生成的标准来训练表达与适应能力（§3.1）。论文自己说，这是一个务实的缓解策略，不声称是最终解决方案（§3.1）。
在两个阶段之前和之间还有一层离线筛选：对每个“指令–量规”候选池，让基座模型生成回答，由 critic 模型打出一个完整分数分布，只保留处于校准后中间分位的样本，去掉太容易（学习信号少）和太难/太噪（质量低）的两端。论文没有给分位数的具体数值（§3.1）。
论文在早期 RL 阶段观察到奖励攻击：模型很快学会利用某条量规的评分漏洞，奖励上去了，真实质量没变。处理方式是先离线分析 rollout，找出异常高奖励的样本，归纳出反复出现的攻击模式，再把这些模式写成一条“奖励攻击防御量规”，作为监督约束加进后续所有阶段（§3.2）。
附录里给出的防御量规是一个确定性启发式过滤器，主要检测两类文本特征：开头对用户问题的奉承（opening praise），以及对自己回答的自我表扬（self-evaluation）。命中任一特征，整条回答从标准奖励通路中被取消，得零分（Appendix A.1）。论文说这提高了训练稳定性、允许更长训练，但没有给出命中率、误杀率或对最终分数的定量影响（§3.2、Appendix A.1）。
论文强调 token 效率，却没有给算力、算法和 rollout 预算；这限制了对“为什么有效”的归因。
基座是 Qwen3-30B-A3B，总参数 30B、激活 3B。论文把它当作开源强基线，并在同一基座上比较 Rubicon-preview；没有跨模型家族或跨规模的训练实验（§1、§4.1）。
所有数据来自一个 900K+ 实例的专有语料；最终 RL 训练只用了 5K 多条样本。语料和筛选后的数据没有公开，公开的是模型权重（§3、§4）。
论文说“multi-stage RL”，但没有给策略优化算法、KL 系数、学习率、batch size、rollout 数、训练步数或 GPU 型号/数量。critic 模型如何训练、如何校准也没有展开（§3、§5）。
开放侧是 Creative Writing V3、WritingBench、Judgemark V2、EQ-Bench3、IFEval、Collie、IFScale；通用/推理侧是 MMLU、HellaSwag、StoryCloze、IQuiz-EQ、SocialIQA、CoQA、AIME24、AIME25、Math500、GPQA-Diamond、LiveCodeBench v5（§4.1）。
论文的核心效率主张是“有限 token + 大量量规”可能构成一种新的后训练扩展律：只用了 5K 样本，却在 7 个开放基准上平均提升 5.21 个百分点（§1、§5）。但因为没有算力账本和算法细节，读者无法判断增益来自量规质量、数据筛选、两阶段课程，还是某个未披露的 RL 技巧。这是本页保留的最大不确定性（§3、§5）。
下图对应 Figure 1 的数据收集与量规更新两个阶段；防御量规在第二阶段之后加入监督约束。
Figure 1 把系统画成一个闭环：量规不是一次性写死的标注规范，而是会随着 RL rollout 的失败模式不断更新。这个闭环也是论文与“固定 rubric 打分”类工作的主要区别推断（由 Figure 1 的 Rubric Updating 回路推断；原文未直接比较两者）。需要保留的是，闭环的每一环都依赖 critic 的判断；论文没有披露 critic 的训练与校准细节，因此无法判断闭环的误差如何累积（§3、§5）。
先看主表，再拆推理/通用两侧，最后看跷跷板与风格控制。
Rubicon-preview 的 7 项分数是创意写作 81.89、WritingBench 80.11、Judgemark V2 69.20、EQ-Bench3 79.55、IFEval 81.70、Collie 40.27、IFScale 60.79，平均 70.50。基座 Qwen3-30B-A3B 平均 65.29，提升 5.21 个百分点；DeepSeek-V3-671B 平均 68.08，Rubicon 平均高 2.42 个百分点（§4.1、Table 1）。
增益并不均匀。Judgemark V2 提升 13.00 个百分点，EQ-Bench3 提升 6.20，IFScale 提升 6.11；但 IFEval 下降 1.85。DeepSeek-V3 也不是每个维度都低：Collie 上 DeepSeek 42.69 对 Rubicon 40.27（Rubicon 低 2.42 个百分点），IFEval 上 81.89 对 81.70（低 0.19），IFScale 上 60.92 对 60.79（低 0.13）。所以「平均反超 2.42」只在 7 项平均意义上成立（Table 1）。
| 模型 | C.W | Writing | Judge | EQ | IFE | Collie | IFS | 平均 |
|---|---|---|---|---|---|---|---|---|
| Qwen3-30B-A3B | 77.82 | 75.65 | 56.20 | 73.35 | 83.55 | 35.77 | 54.68 | 65.29 |
| Rubicon-preview | 81.89 | 80.11 | 69.20 | 79.55 | 81.70 | 40.27 | 60.79 | 70.50 |
| DeepSeek-V3-671B | 80.10 | 74.08 | 61.30 | 75.60 | 81.89 | 42.69 | 60.92 | 68.08 |
推理侧五项：AIME24 从 77.50 到 81.67（+4.17 个百分点），AIME25 从 70.00 到 70.83（+0.83），Math500 从 94.75 到 94.55（−0.20），GPQA-D 从 63.00 到 60.35（−2.65），LCBv5 从 63.77 到 59.43（−4.34）。推理均值从 73.80 到 73.37，下降 0.43 个百分点（§4.3、Table 2）。
通用侧六项：MMLU +0.30、IQ-EQ +6.25、HellaSwag +0.20、StoryCloze +0.45、CoQA +1.18、SocialIQA +2.15；通用均值从 78.16 到 78.85，提升 0.69 个百分点（通用均值照录原文列；按六项重算为 76.12→77.87，原文未说明均值口径，见 6.3 表注与手算块）。论文据此说 Rubicon 没有损害通用能力，并在数学上还有额外增益；更准确的说法是「平均基本持平、部分指标上升，但 GPQA-D 和 LCBv5 明显下降」（§4.3、Table 2）。
| 模型 | AIME24 | AIME25 | Math500 | GPQA-D | LCBv5 | 推理均值 | MMLU | IQ-EQ | HS | SC | CQ | SIQA | 通用均值 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Qwen3-30B-A3B | 77.50 | 70.00 | 94.75 | 63.00 | 63.77 | 73.80 | 79.53 | 68.75 | 77.55 | 77.72 | 79.52 | 73.64 | 78.16 |
| Rubicon-preview | 81.67 | 70.83 | 94.55 | 60.35 | 59.43 | 73.37 | 79.83 | 75.00 | 77.75 | 78.17 | 80.70 | 75.79 | 78.85 |
1. Table 1 的 7 项平均。Qwen3-30B-A3B：77.82 + 75.65 + 56.20 + 73.35 + 83.55 + 35.77 + 54.68 = 457.02，457.02 ÷ 7 = 65.2886，保留两位为 65.29。Rubicon-preview：81.89 + 80.11 + 69.20 + 79.55 + 81.70 + 40.27 + 60.79 = 493.51，493.51 ÷ 7 = 70.5014，保留两位为 70.50。差值 70.50 − 65.29 = 5.21 个百分点。
2. Table 2 的推理均值（5 项）。Qwen3-30B-A3B：77.50 + 70.00 + 94.75 + 63.00 + 63.77 = 369.02，369.02 ÷ 5 = 73.804，保留两位为 73.80。Rubicon-preview：81.67 + 70.83 + 94.55 + 60.35 + 59.43 = 366.83，366.83 ÷ 5 = 73.366，保留两位为 73.37。未舍入差值为 73.366 − 73.804 = −0.438，按表中两位小数均值相减显示为 −0.43。
3. 通用均值的口径核对。Qwen3-30B-A3B 六项：79.53 + 68.75 + 77.55 + 77.72 + 79.52 + 73.64 = 456.71，456.71 ÷ 6 = 76.1183，保留两位为 76.12。Rubicon-preview 六项：79.83 + 75.00 + 77.75 + 78.17 + 80.70 + 75.79 = 467.24，467.24 ÷ 6 = 77.8733，保留两位为 77.87。原文列 78.16 / 78.85 与六项重算不一致，原文未说明通用均值的计算口径。
Figure 2 的消融把任务类型分开：只训创意/共情的模型在 Collie 上下降 6.0 个百分点、IFEval 下降 5.9；只训指令遵循的模型在 EQ-Bench3 上下降 2.2。论文把这些互相拉扯的现象称为 seesaw effect（§4.4、Figure 2）。
两阶段训练是缓解方案：先建立指令遵循的底座，再叠加创意和共情。Rubicon-preview 的结果是 Collie +4.50、IFEval −1.85、EQ +6.20，说明底座没有被完全牺牲，但也不是「两个目标都无损」；论文自己把两阶段称为 pragmatic mitigation，而不是 definitive solution（§3.1、§4.4、Table 1）。
论文展示了“Plain Narrative”风格量规：要求语言简单、克制、具体，避免「AI 腔」和说教腔。附录 B/C 给出基座与 Rubicon-preview 的并排输出对照：基座模型倾向于先声明「我是 AI，没有个人经历」，再用清单式建议回答；Rubicon-preview 会直接写一个具体故事，用细节和语气完成情感表达（§4.2、Appendix B–C）。
这些例子有说服力，但它们是定性展示，不是受控的风格评分实验。论文没有给量化的人工评分、胜率或受控的跨模型评测；量规在这里既是训练信号，也是示例筛选标准。页面因此只把风格控制写成“论文展示的能力”，不写成“已经被量化验证的增益”（§4.2、Appendix C）。
方法边界、证据边界与结果口径分开看。
训练语料是 900K+ 实例的专有数据，筛选后的 5K+ 样本、量规库全文和 critic 都没有公开；公开的是模型权重。外部研究者无法复现数据筛选与量规构造过程推断（由 §3 的 proprietary 900K+ 语料与未公开的筛选/量规库推断）。
论文列举了人类专家、LLM、人机协作三种来源，但没有给每种来源的比例、成本、周期、一致性或偏见审计。量规本身是主观判断的固化，critic 的偏差会直接进入奖励（§2.1、§3、§5）。
论文没有说明策略优化算法、KL 系数、学习率、batch、rollout 数、训练步数或 GPU 配置。读者无法判断 5.21 个百分点的提升有多少来自量规、多少来自数据筛选或课程（§3、§5）。
防御量规只检测「开头奉承」和「自我表扬」两类文本特征；论文说它提高了稳定性，但没有给命中率、误杀率或对最终分数的定量影响。更隐蔽的刷分方式是否被覆盖，仍是开放问题（§3.2、Appendix A.1）。
评测侧还有三条限制。第一，开放基准本身可能不够：论文明确说当前 benchmark 不能充分反映 rubric 训练带来的开放式、拟人化能力，标准分数与人工反馈并不总是一致（§5）。第二，没有统计检验：Table 1/2 没有置信区间、方差或随机种子重复，页面不把小数点后的差异说成统计显著（Table 1、Table 2）。第三，「最大量规系统」是作者自述：原文写的是「to our knowledge, the largest rubric reward system to date」，这是一个时点性、自报性的判断，不是独立审计的结论（Abstract、§1）。
能力侧也要看清代价：通用均值 +0.69、推理均值 −0.43 是平均数；GPQA-D 下降 2.65、LCBv5 下降 4.34 个百分点，说明「没有明显退化」只对平均和部分指标成立。AIME24 的 +4.17 也是绝对百分点，不是相对提升；AIME25 只提升 0.83 个百分点（Table 2、§4.3）。