世界模型的目标是预测“动作之后世界会变成什么”，但标准训练用的是 MLE：最大化真实下一个状态的似然。这个目标和真正关心的指标——状态是否完全正确、视频是否清晰——并不对齐。RLVR-World 把解码后的预测指标直接当奖励，用 GRPO 后训练；语言与视频统一成 token 序列。文本游戏（1.5B + task-specific）整体准确率 32.87→63.24，网页 F1 49.94→65.11，视频多步重复率 48.6→9.9。
论文把世界模型统一成自回归序列预测：状态与动作都 token 化，模型输入 q(s, a)，输出 o(s′)。后训练时，对同一输入采样一组预测，解码成状态后用一个可验证指标 D 与真实下一个状态比较，奖励是 sign(D)·D；再用 GRPO 更新。MLE 优化的是 token 似然，RLVR 优化的是任务指标。
语言侧，文本游戏用二元准确率或“全属性 + 变化属性 + 完全正确”的任务奖励；网页用预测变化的 F1。视频侧，奖励是逐帧 −[L1 + LPIPS] 的和，指标包括 MSE、PSNR、SSIM、LPIPS 与重复率。
结果：1.5B 文本游戏从 SFT 的 32.87 提到 63.24（任务奖励），7B 二元奖励 65.53，略高于 GPT-4 的 64.76；网页 F1 从 49.94 到 65.11，下游网页 agent 成功率从 12.06 到 14.29；视频多步重复率从 48.6% 降到 9.9%。RLVR 只跑几百步，而 MLE 预训练是数十万步。
读完这节应该知道：为什么世界模型的训练目标与使用目标会错位。
世界模型要近似状态转移 p(s′ | s, a)：给定当前状态与动作，预测下一个状态。论文把状态空间扩展到语言、图像、视频与低维连续信号，并统一用 decoder-only Transformer 做 next-token prediction（§4.2）。标准做法是 MLE：最大化真实下一个状态序列的似然（Eq. 2）。
问题在于，MLE 奖励的是“每个 token 的概率”，而使用世界模型时关心的是“解码后的状态是否正确”或“画面是否清晰”。两者并不等价。论文举了两个表现：视频多步预测会出现重复帧——因为每帧约 20% 的 token 与上一帧相同，模型可以利用这个捷径；语言侧则可能生成格式正确但事实错误的状态。Abstract / 摘要 把这种错位写成 “standard training objectives such as maximum likelihood estimation (MLE) often misalign with task-specific goals of world models”。
RLVR-World 不把 reward 加在 token 概率上，而是先把模型输出解码成状态 ŝ′，再与真实状态 s′ 用任务指标比较。这样奖励与评测口径一致；代价是解码与指标计算必须可执行、可验证，且通常不可微，只能走 RL。
页面按训练目标把已有做法归为三类推断；原文 §2 是相关工作总结，没有这张分类表。
MLE 预训练 + SFT 是语言与视频世界模型的主线：先最大化真实序列似然，再用少量示范微调。它的优点是稳定、可扩展；缺点是目标与任务指标错位。论文的 Base 与 SFT 行就是这条路线。偏好对齐（RLHF 一类）用学习出来的人类偏好模型做奖励，但论文选择“可验证奖励”，因为状态是否正确、F1 多少可以直接算，不需要再训练奖励模型。任务专用模拟器（如 SIMPLER）用手工模拟器做策略评估，是本文视频实验的对照，不在这张三段式卡片里；本文的视频世界模型走学习式模拟器路线，并在 Real2Sim 评估中与 SIMPLER 比较（§6.4）。
优化 token 似然；稳定，但与准确率、感知质量不对齐。视频里会放大重复帧捷径。
用人类偏好或学习奖励模型；适合主观目标，但需要额外奖励模型，且可能被 reward hacking。
直接用任务指标当奖励；客观、可复算，但要求指标可程序化计算，且覆盖的任务范围有限。
读完这节应知道：输入输出怎么构造、奖励怎么算、GRPO 在哪里介入。
序列化。对每个转移 (s, a, s′)，用模板把 (s, a) 拼成问题 q(s, a)，把 s′ 拼成回答 o(s′)。文本游戏状态是 JSON 文本；视频帧经视觉 tokenizer 编码；连续动作按取值范围离散成 256 个均匀 bin（§4.2、§6.1）。这样语言与视频共享同一个 next-token prediction 接口。
奖励。给定 q，旧策略采样一组输出 {o_i}，解码成 {ŝ′_i}，与真实 s′ 比较：
Eq. 3。D 是任务指标；若 D 越小越好（MSE、LPIPS），sign(D) = −1，否则为 +1。
优化。用 GRPO（Eq. 1）：组内归一化优势 Â，加上 PPO 式 clip 与 KL 惩罚；不需要 value function。论文说框架兼容其他 RL 算法，但实验都用 GRPO（§4.3；GRPO 见 §3）。
三种任务的 D。文本游戏有两种奖励：二元奖励只在三元组 (状态, 奖励, 完成标志) 完全正确时给 1；任务奖励是 α₁·acc_all + α₂·acc_changed + α₃·I(correct)，权重 0.1 / 1 / 0.2（Appendix A.1）。网页用预测变化集合与真实变化集合的 F1（§5.2）。视频用逐帧 −[L1 + LPIPS] 的和（Appendix A.4，Eq. 9–10）——注意不只是 LPIPS。
§5.1 写 RLVR 在 1.5B 上带来 “+34.7% accuracy for unchanged and +8.9% for changed”。按 Table 1 的显示值，73.57−38.88=34.69、33.14−24.21=8.93，都是百分点。页面在引用时写“34.7 个百分点”，不把它当成相对提升。
读完这节应知道：模型、数据、超参与 GPU 小时；这也是“几百步 vs 几十万步”说法的来源。
语言世界模型用 DeepSeek-R1-Distill-Qwen-1.5B 与 7B 作基座；文本游戏先用 DeepSeek-R1 生成的 4,237 条 SFT 数据微调（约 $40），再跑 RLVR。LoRA rank 32、α 16；文本游戏 SFT 10 epoch、网页 4 epoch；RLVR 学习率 1e−6、KL 系数 1e−3、group size 5、文本游戏 batch 128、网页 batch 64（Table 5、Appendix A.1–A.2）。
| 项目 | 文本游戏 | 网页 |
|---|---|---|
| 基座 | R1-Distill-Qwen-1.5B / 7B | R1-Distill-Qwen-1.5B |
| SFT 数据 | 4,237 条 R1 生成轨迹 | WMA 提供的 CoT 数据 |
| SFT batch / epoch / LoRA | 16 / 10 / rank 32, α 16 | 8 / 4 / rank 32, α 16 |
| RLVR batch / mini batch | 128 / 64 | 64 / 16 |
| 学习率 / KL / group size | 1e−6 / 1e−3 / 5 | 1e−6 / 1e−3 / 5 |
| 最大回答长度 | 4,096 | 7,288 |
| 算力 | SFT 4×80G A100 6.5h；RLVR 8×80G A100 22.5h | SFT 8×40G A100 17h；RLVR 8×80G H100 25h |
视频世界模型是自己预训练的 iVideoGPT 变体：视觉 tokenizer + LLaMA 架构的 138M Transformer（12 层、hidden 768、12 头）。单步与多步分别预训练；RLVR 用 GRPO，group size 16、学习率 5e−5、KL 1e−3、batch 128，只跑 200 步（Appendix B）。单步 200 步用 4×40G A100 约 3.5 小时，多步约 10 小时；tokenizer 预训练 360/480 GPU 小时，Transformer 预训练 530/500 GPU 小时（Appendix B）。
“几百步 vs 几十万步”不是修辞：视频 Transformer 单步预训练 9.9×105 步、多步 4.5×105 步，而 RLVR 只跑 200 步（Appendix B）。论文还做了延长预训练对照：多步再预训练 150k 步；原文 §6.2 写 nearly 1000×，按 Appendix B 的 200 步折算为 750×，两处口径不同，并列呈现。延长后 LPIPS 仍是 14.5，仍高于 RLVR 的 13.4（LPIPS 越低越好，即仍差于 RLVR；§6.2）。推断（依据：Appendix B 的 200 步与 §6.2 的 150k 步）这个对照说明收益不只来自“多训练”。
下图按 Figure 2 与 §4 重绘。语言与视频只在 tokenizer/decoder 与奖励指标上分叉，RL 循环相同。
图里没有画“多步预测”的上下文窗口与 7 帧预测长度。§6.1 定义单步 p(s_{t+1} | s_{t−T+1:t}, a_{t−T+1:t}) 与多步 p(s_{t+1:t+T} | s_t, a_{t:t+T−1})；多步用压缩 tokenizer 控制序列长度（Appendix A.4）。
读完这节应知道：三个模态各提升了多少，以及哪些提升是相对的、哪些是绝对的。
文本游戏（Table 1）。1.5B 的 SFT 整体 32.87%，二元奖励 RLVR 57.01%，任务奖励 63.24%；相对 SFT 高 30.37 个百分点。7B 二元奖励 65.53%，比 GPT-4 的 64.76 高 0.77 个百分点。论文同时指出，changed 子集上 7B RLVR 仍低于 GPT-4（40.33 对 51.60），差距来自基座容量。
| 模型 | Unchanged | Changed | Overall |
|---|---|---|---|
| Base (R1-Distill-Qwen-1.5B) | 11.98% | 0.08% | 7.11% |
| SFT | 38.88% | 24.21% | 32.87% |
| RLVR-World (binary) | 73.57% | 33.14% | 57.01% |
| RLVR-World (task-specific) | 83.66% | 33.80% | 63.24% |
| Base (R1-Distill-Qwen-7B) | 46.90% | 5.53% | 29.92% |
| SFT | 65.94% | 31.32% | 51.76% |
| RLVR-World (binary, 7B) | 83.08% | 40.33% | 65.53% |
| GPT-4 | 73.90% | 51.60% | 64.76% |
文本游戏、1.5B + task-specific：Overall Acc. 63.24 − SFT 32.87 = 30.37 个百分点。页面把它写成绝对点差，不写成相对提升。
0.77 也是绝对点差：7B 二元奖励 65.53 − GPT-4 64.76 = 0.77 个百分点；changed 子集上 7B 是 40.33，GPT-4 是 51.60，RLVR 仍落后。
网页状态预测与网页 agent（Table 2）。1.5B 的 F1 从 SFT 的 49.94 到 65.11，绝对高 15.17 个百分点；原文写相对 +30.3%，按表值复算为 30.4%（原文按未舍入值）。把世界模型接进 MPC 后，网页 agent 成功率从 12.06 到 14.29，绝对高 2.23 个百分点；原文写相对 +18.4%，按表值复算为 18.5%。注意 Table 2 只与自己的 Base/SFT 比：§5.2 脚注说，因为预测的是精确 item change 而不是自然语言描述，无法与 WMA 直接比较。
| 模型 | Precision | Recall | F1 | Agent SR |
|---|---|---|---|---|
| Base (R1-Distill-Qwen-1.5B) | 15.59% | 15.70% | 11.83% | n/a |
| SFT | 48.99% | 56.05% | 49.94% | 12.06% |
| RLVR-World | 72.77% | 64.55% | 65.11% | 14.29% |
| Δ（原文） | +48.5% | +15.1% | +30.3% | +18.4% |
视频（Table 3）。多步预测的重复率从 48.6% 降到 9.9%，绝对降 38.7 个百分点，原文写相对降低 79.6%（按表值复算 79.6%）。LPIPS（×100 口径）从 14.8 降到 13.4，绝对降 1.4；SSIM（×100 口径）从 80.9 升到 82.4，绝对升 1.5。再加 repetition penalty 奖励可以把重复率压到 0.0%，但 MSE 从 0.486 升到 0.506（差 0.020），是质量与重复之间的交换。
| 设置 | 模型 | Repetition↓ | MSE↓ | PSNR↑ | SSIM↑ | LPIPS↓ |
|---|---|---|---|---|---|---|
| 单步 | Base | n/a | 0.336 | 25.3 | 81.7 | 13.0 |
| RLVR-World | n/a | 0.287 | 25.9 | 83.1 | 12.2 | |
| Δ | n/a | +14.3% | +2.6% | +1.6% | +6.0% | |
| 多步 | Base | 48.6% | 0.659 | 23.1 | 80.9 | 14.8 |
| Base (w/ repetition rejection) | 0.0% | 0.593 | 23.3 | 81.0 | 14.4 | |
| RLVR-World | 9.9% | 0.486 | 24.1 | 82.4 | 13.4 | |
| RLVR-World (w/ rep. penalty) | 0.0% | 0.506 | 24.0 | 82.2 | 13.7 | |
| Δ（原文） | 相对提升 | +79.6% | +26.1% | +4.5% | +1.9% | +9.2% |
视频多步重复率：48.6 − 9.9 = 38.7 个百分点（下降）。原文 Table 3 的 Δ 行写 +79.6%，是相对口径；页面并列绝对 38.7 与相对 79.6%。
网页 F1：65.11 − 49.94 = 15.17 个百分点；相对口径按表值复算 (65.11−49.94)/49.94 = 30.4%，原文写 +30.3%（按未舍入值）。
SSIM/LPIPS 是 ×100 口径：SSIM 82.4 − 80.9 = 1.5，LPIPS 14.8 − 13.4 = 1.4，都是绝对点差。
与 SOTA 比（Table 4）。在 PushT/Rope/Granular 的单步预测上，RLVR-World 的 LPIPS/SSIM 是 0.70/98.46、2.08/98.14、2.42/95.42；DINO-WM（报告值）是 0.7/98.5、0.9/98.5、3.5/94.0。论文说整体与最强基线 DINO-WM 相当，在 Granular 上明显更好；但在 Rope 上 LPIPS 2.08 高于 DINO-WM 的 0.9。推断（依据：Table 4 三列）这不是“全面超过”，而是“部分指标相当、Granular 更好、Rope 更差”。
§7 讨论五类挑战（算法 2 + 基础模型 3）；与本页边界最相关的三类，加两条页面补充。
§7 讨论五类挑战：算法侧 2 项——(1) 性能屏障：RLVR 通常几百步就收敛，如何继续提升需要分析模型、数据与算法瓶颈；(2) OOD 泛化：RLVR 在语言模型上能泛化到训练域外，但世界模型在反事实动作上的表现还没验证。基础模型侧 3 项——(1) 通用世界模型后训练：当前视频模型是“每个数据集单独预训练”的 138M 模型，不是通用视频世界模型；论文说等社区有了通用视频世界模型，才能走“多样域预训练 → SFT → RLVR”的完整范式；(2) 跨模型类别应用：RLVR-World 的核心洞察与模型类别无关，但扩散模型的 GRPO 工作超出本文范围；(3) 任务对齐奖励：MSE/LPIPS 这类指标比 MLE 更贴近任务，但仍不能完全刻画用户想要的质量，物理规则与时间一致性需要更复杂的奖励。与本页边界最相关的三类是性能屏障、OOD 泛化与任务对齐奖励。
页面补两点。第一，网页与文本游戏的比较对象主要是自己的 Base/SFT；网页侧因评测口径不同，没有与 WMA 直接比（§5.2 脚注）。第二，RLVR 不是万能的测试时放大器：Figure 4 显示，采样数增加到 100 时，Base 模型会追上并反超 RLVR 模型；论文把这列为当前 RLVR 方法的局限。
当前视频模型按数据集单独预训练（RT-1 / PushT / Rope / Granular），没有跨域通用性。
RLVR 要求 D 可计算、可验证；主观质量、物理规则、长期一致性目前没有可靠指标。
测试时采样到 100 个，Base 会追上；RLVR 的优势主要在单次/少样本与训练效率。
读表注意。第一，Table 3 的 Δ 表注已定义 relative performance gains from RLVR；Repetition、MSE、LPIPS 越低越好，Δ 的“+”表示改善，读者仍要按箭头方向读。第二，Table 4 里 DINO-WM 的 Rope LPIPS 是 0.9，而 RLVR-World 是 2.08；论文说“整体相当、Granular 更好”，Appendix A.4.2 也明确 “Our model underperforms DINO-WM on the Rope dataset”，不是每个数据集都更好。