VLWM：把世界状态写成语言，再让模型在语言里试错

先建立共同认知：为什么把「生成未来视频」当作世界模型，在长周期任务上会失灵。

世界模型在低层控制里已经很有说服力：机器人控制、自动驾驶、游戏，模型预测的是关节力矩、轨迹或下一帧。这些任务的共同点是动作空间连续、时间尺度短、观测和动作几乎同步。但高层任务规划不一样：动作是「预热煎锅」「把鸡蛋打散」这种带有语义和时间抽象的指令，一步可能对应几十秒甚至几分钟的视频。要推演这种动作的后果，模型需要的不是更清晰的下一帧，而是「世界状态会变成什么样」。

论文点出三类世界模型路线（生成式、JEPA、语言式），并另提模拟环境的可扩展性问题。第一类是生成式世界模型：Sora、Cosmos、Genie、UniSim 这类模型直接重建未来观测（例如在像素空间）。它们能生成逼真的视频，但论文认为这种形式在部分可观测和不确定性下是 ill-posed 的：未来本来就不唯一，模型只能采样一个看似合理的版本；同时，像素里大量任务无关的细节会被一并生成，长程 roll-out 的计算成本很高。第二类是JEPA 式世界模型：把观测编码到紧凑的 latent 空间，再预测 latent。它比像素高效，但 latent 不天然可解释，现有工作主要集中在低层运动规划，扩展到高层动作规划仍是开放问题。第三类是语言式世界模型：把自然语言当高层抽象接口，包含两支——直接提示 LLM 当世界模型，以及在窄领域（web navigation、text games、具身环境）训练的语言世界模型。提示式简单、可解释，但 LLM 没有接地的感官经验，VLM 又主要训练来感知，而不是做动作条件的世界状态预测；窄领域训练则受限于领域覆盖。模拟环境则受限于可扩展性，难以覆盖真实世界的多样活动。

这就引出第二个难题：训练目标从哪来。要训练一个「视频 → 目标 + 动作 + 状态变化」的模型，最直接的做法是把整段视频喂给一个强 VLM，让它输出结构化轨迹。但论文指出这里有一个「不可能三角」：在给定的算力和显存预算内，无法同时做到 1) 高空间分辨率，2) 覆盖很多步骤的长时程，3) 使用一个足够大、能听懂复杂指令的 VLM。分辨率高、时程长、模型大，三者最多取其二。VLWM 的数据流水线，就是为绕开这个三角设计的。

论文的定位不是「又一个 VLM」，而是把世界模型的预测空间换到语言。

论文的赌注是：语言既是抽象状态，也是推理接口。与 JEPA 的 latent 相比，语言状态可读、可调试，能直接接上 LLM 的常识；与像素生成相比，语言生成的计算量小得多，而且只保留任务相关的语义变化。缺的那块是监督信号——所以论文把重点放在「如何从真实视频里自动造出语言化的世界模型训练目标」。

“These limitations highlight the need for world models that predict in abstract representation spaces, rather than raw pixels.”—— §1，论文对生成式世界模型局限的总结

这一节拆开两个部件：数据怎么造，模型怎么学；以及 system-1 为什么会「一条路走到黑」。

3.1 数据：一棵字幕树，绕开「分辨率 × 时长 × 大模型」的不可能三角

直接让 VLM 看完整视频再输出结构化轨迹，会撞上前面说的不可能三角。论文把它拆成两步：先把视频压成 Tree of Captions，再让纯文本 LLM 从字幕树里抽计划。第一步只做感知和压缩，第二步只做语言理解和结构化，两个阶段各自用最合适的模型。

Tree of Captions 怎么建。设视频为 X，用 Perception Encoder PE-G14 抽特征流 Z = φ(X) = [z1; …; zT] ∈ ℝT×d。对特征流做层次凝聚聚类：一开始每个 zt 是一个簇，反复合并「相邻且合并后簇内方差增加最小」的两个段，直到只剩一个根节点。合并的完整轨迹就是一棵树，每个节点对应一段视频。然后对每个节点用 PerceptionLM-3B 写详细 caption（320×320、32 帧，可放进 32GB V100），跳过短于 5 秒的段。这样既保留了细粒度局部细节，也有长时程的全局结构。

为什么是层次聚类，而不是动作分割模型。论文指出，现有的时序动作定位/分割模型依赖人工标注的闭集动作 taxonomy，通常只在窄领域训练，开放性不够。层次聚类不需要动作标签，只依赖特征空间里的「语义边界」：论文把合并后簇内方差的增加当作 polysemanticity 的度量，代价小的相邻段更可能是同一个语义单元，代价大的位置更可能是语义切换点。

压缩效果很直接：论文举了 Ego4D 的例子，1.1 TB 视频文件压到 900 MB 以下的 caption 文件。不过要注意，Ego4D 只是 §2.1.1 的压缩示例；§3.1.1 明确说它没有进入训练集，原因是 train/val split 不一致，可能与 benchmark 重叠。示例数据和训练数据是两件事，页面把两处并列。

从字幕树到结构化轨迹。把树按 DFS 顺序线性化（根 → 1 → 1.1 → 1.1.1 → …），这种格式和 LLM 训练过的文档层级最接近。然后把线性化后的字幕树、输出格式要求、示例一起喂给 Llama-4 Maverick（128 experts，17B 激活 / 400B 总参数，FP8），做两轮 Self-Refine：第一轮生成草稿，之后每轮让 LLM 先给反馈、再按反馈重写。每个视频按 BFS 取前 5 个节点作为目标窗口，最多取 5 个窗口。最终输出四类内容：

• Goal description：整体成就的高层摘要，例如「cook tomato and eggs」。
• Goal interpretation：把目标展开成初始状态和期望最终状态，给 system-2 的 cost 评估提供具体锚点。
• Action description：给下游执行器或用户看的动作，要求清晰、简洁、信息足够。
• World state（ΔS）：动作造成的状态变化，要求是信息瓶颈——覆盖所有任务相关后果，但尽量少冗余。论文把状态描述当作模型内部的 chain-of-thought。

3.2 模型：一个 8B VLM，同时学策略和动力学

VLWM 的训练目标就是 Eq. 1 的 next-token prediction：

这个输入输出形式同时覆盖三层世界建模：上下文目标推断（这段视频可能达成什么目标）、动作预测（下一步该做什么）、动作条件的状态动力学（做了之后世界怎么变）。因为动作和状态是交错自回归生成的，模型可以从同一个权重里抽出两种能力：

VLWM 用 PerceptionLM-8B 初始化，因此继承了视觉感知、语言理解和常识；训练目标是 next-token cross-entropy。这一点很重要：system-2 的「推理」不是训练出来的另一个模块，而是在推理时用世界模型做内部试错，用 critic 的 cost 选计划。

System-1 的天花板。给定 config、context 和目标，VLWM 直接自回归地吐出 action-state 对，直到 <eos>。它快，适合短时程、简单、同分布的任务；但每个动作一旦生成就固定了，模型没有回头路，无法评估替代方案，也无法撤销错误。长时程或复杂任务里，错误会累积。更麻烦的是，训练数据里的示范并不完美，行为克隆会把那些次优做法一起学进来。论文用「the autoregressive nature of token decoding limits foresight and reflection」来概括这个问题。

3.3 Critic：把「离目标多远」学成一个标量成本

System-2 需要一个能比较不同未来轨迹的 cost。JEPA 世界模型可以直接用 latent 的 L1/L2 距离；但 VLWM 的状态是语言，不能在 token 空间里算欧氏距离。论文的做法是训练一个语言模型当 critic：

自监督信号。critic 不需要人工标注「好计划/坏计划」，而是从轨迹里构造排序对：

• 进展 vs 干扰：从一条部分轨迹出发，接上合理的下一步（good）或从无关任务采样的干扰步骤（bad），要求 Cgood < Cbase < Cbad。
• 原序 vs 打乱：把一条轨迹的步骤随机打乱，要求 Cbase < Cshuffled，让 critic 对程序顺序敏感。

训练损失是带固定 margin 的 ranking loss，外加一个小的 cost centering 正则：

Critic 从 Llama-3.2-1B 初始化，paired data 来自 HowTo100M / NaturalReasoning 轨迹和 Tree of Captions 的 subtree（root 当 goal、leaf 当 trajectory），另外混入偏好数据（UltraFeedback、Orca DPO、Math-Step-DPO）和语义相似度三元组（MS-MARCO、SQuAD、HotPotQA、NaturalQuestions、FEVER）：前者把 query 当 goal、chosen/rejected 当动作，后者把 query 当 goal、正/负句子当动作。这样 1B 的 critic 不只是「VLWM 的评分头」，而是一个更通用的语义距离模型。

System-2 怎么用。actor 先提出多条候选动作序列（可以是 VLWM 自己，也可以是外部 LLM；候选数控制搜索宽度），VLWM 对每条候选做 roll-out，预测未来的 action-state 轨迹，critic 给每条轨迹打分，最后选 cost 最低的那条。论文在 PlannerArena 里用 20 条候选。除了 critic 的 cost，还可以加任务特定的惩罚或 guardrail（外部约束、安全规则、领域偏好），所以 system-2 不只是一个「best-of-N」采样器，而是一个可插入约束的搜索过程。

这一节把数据规模和训练成本摊开，顺便核对 Table 1 的合计行。

论文的语料由六路视频和一路纯文本组成：COIN、CrossTask、YouCook2、HowTo100M 的子集、EgoExo4D、EPIC-KITCHENS-100，加上 NaturalReasoning。§1 给出的总口径是：180k 视频、超过 800 天时长、21M 个 caption 节点、2.7 万亿词；从视频里抽出 1.2M 条轨迹、5.7M 步，再从 NaturalReasoning 转出 1.1M 条目标—计划对。

训练配置。VLWM 用 PerceptionLM-8B 初始化；batch size 128；最大 11.5k token context；视觉输入统一采样 32 帧、448² 分辨率；12 个节点 × 8 张 H100，训练约 5 天。critic 小得多：从 Llama-3.2-1B 初始化，训练 1 个 epoch、batch 128（约 2.7k 步）、最大 1536 token，用 1 个节点 × 8 张 H100；Eq. 2 的 margin=1、λ=0.01。

还有一个容易忽略的细节：Ego4D 在 §2.1.1 被用作压缩示例（1.1 TB → <900 MB），但 §3.1.1 明确把它排除在训练之外，理由是 train/val split 不一致，可能与 benchmark 重叠。页面把这两处并列，不把示例数据当成训练数据。

先看视频怎么变成训练目标，再看 system-1 / system-2 在推理时怎么分叉。

流水线可以拆成五步：抽特征 → 层次聚类 → 逐节点 caption → DFS 线性化 → LLM Self-Refine。前两步把视频变成树，第三步把每个节点变成文字，后两步把树变成结构化的目标—轨迹。这样做的关键不是「用 LLM 总结视频」，而是把感知和语言理解分开：感知阶段用 Perception Encoder + PerceptionLM 保证细节，语言阶段用 400B 总参数的 Llama-4 Maverick 保证指令遵循和长上下文。

推理时分叉：system-1 只走一次 VLWM 前向，直接解码一条 action-state 轨迹；system-2 把 VLWM 当成可调用的模拟器，对多条候选做 roll-out，再用 critic 选。两者的共同点是都依赖同一个世界模型；区别是 system-2 多了「提出候选—模拟—评估—选择」的搜索循环。论文把 system-2 称为「planning with reasoning」，因为搜索本身就是推理：模型在内部试错，而不是在真实环境里试错。

先看 VPA 的逐项数字，再看 PlannerArena 的人类偏好，最后看 RoboVQA 的泛化。

VPA：COIN 两个 horizon 全涨，CrossTask 只在部分指标上涨

VPA 的任务是给定视频历史和文本目标，预测接下来 T 个高层步骤；论文按标准设置测 T=3 和 T=4，数据集是 COIN（11,827 个视频、180 个任务）和 CrossTask（2,750 个视频、18 个任务），指标是 SR、mAcc、mIoU。VLWM-8B 在 COIN 和 CrossTask 的训练集上微调，超参数与预训练一致。

Table 2 还包含 Most Probable、DDN、LTA、VLaMP 等行；这里只转录与结论直接相关的 VLWM-8B 与 VidAssist-70B。VLaMP 的数值可以在下面的交互图里切换查看。

论文的准确口径是 8/12 项指标高于 VidAssist-70B，不是「几乎全部」。四个设置平均，绝对增益是 SR +3.25、mAcc +3.875、mIoU +2.875 个百分点（原文报告为 +3.2 / +3.9 / +2.9）。但平均之下，CrossTask T=4 的 SR 是 7.2 vs 7.4，低 0.2 个百分点；CrossTask 的 4 项指标低于 VidAssist，COIN 两个 horizon 的 6 项全部高于 VidAssist。也就是说，COIN 上的优势更稳定，CrossTask 上并非每个指标都赢。

PlannerArena：system-2 总 Elo 最高，但 CrossTask 上 Llama-4 的胜率更高

PlannerArena 是一个人类偏好评估：给评估者一段视频上下文、一个目标、两条匿名计划，让他们选更愿意执行的那条；两两对战转成 Elo。论文用了 3 个数据集、6 个模型、5 位标注者、550 对比较，初始分 1000，Elo K-factor 32。system-2 的搜索宽度是 20 条候选。

三个数字放在一起看：system-2 的 Elo 是 1261，比 system-1 的 992 高 269 分，相对提升 27.1%（论文摘要写 +27%）；比 Llama-4-Maverick 的 1099 高 162 分，比 Ground Truth 的 952 高 309 分。更有意思的是 Ground Truth：它的 Elo 只有 952，低于 system-1 的 992 和 Llama-4 的 1099；在 COIN/CrossTask 上，GT 的胜率是 43.6%/42.2%，论文称其「barely better than the worst performing models」；在 EgoExo4D 上则是 69.5%，仅次于 system-2 的 87.9%。论文用这个结果说明现有规划数据集的标注质量参差。

但「总 Elo 最高」不等于「每个数据集都最高」。在 CrossTask 上，Llama-4-Maverick 的胜率是 89.6%，高于 system-2 的 70.6%；system-2 的优势主要体现在 COIN（87.9%）和 EgoExo4D（87.9%）。所以更准确的说法是：system-2 在总偏好上最高，但不同数据集的排序并不一致。

Table 3 把 992 那一行标成「VLWM System-1*」（带星号）；§3.2.2 正文却把它描述成「cost-maximizing critic」的版本。两处并列，页面按表内标签引用，同时保留正文的说法，不替原文取舍。

RoboVQA：BLEU-1 74.2，BLEU-4 55.6

RoboVQA 是机器人视觉问答基准，要求模型在真实多 embodiment 场景里理解视觉场景并给出连贯动作序列。VLWM-8B 的 BLEU-1 是 74.2，比 RoboBrain-7B 的 72.1 高 2.1 个百分点，比 ThinkAct 的 69.1 高 5.1 个百分点，也高于 PhysVLM-3B 的 65.3；BLEU-4 是 55.6，比 RoboBrain 的 55.1 高 0.5 个百分点（§3.3）。论文的措辞是 highly competitive / top two，没有把它说成全面最好；页面按原文措辞。

Table 4 只转录与「BLEU-1 领先」结论直接相关的行；其余基线见原文。

把 VPA、PlannerArena、RoboVQA 放在一起，论文的主张是「语言世界模型 + system-2 搜索」在多个高层规划/问答基准上有效；但每个基准都有边界：VPA 的 CrossTask T=4 有倒退，PlannerArena 的 CrossTask 被 Llama-4 反超，RoboVQA 只是 BLEU 指标上的接近/领先，不是闭环执行。

论文自己的数字里，能读出四条边界。

边界一：critic 的优势在域外缩水

§3.4.1 称 critic 的 VLWM 进度数据只来自 HowTo100M 指令视频，没有见过 egocentric 数据，也没有见过只有动作、没有世界状态的 OGP 轨迹；§3.1.2 则把 HowTo100M 与 NaturalReasoning 并列为 paired data 来源，并另列 Tree of Captions subtree、偏好数据和语义相似度数据；两处并列，不替原文取舍。Table 5 的结果很直接：同分布的 VLWM-Instruct 是 98.4%，未见过的 VLWM-Ego 降到 92.7%；OGP-Robot 是 72.9%，OGP-WikiHow 只有 48.3%，与 Qwen3-Reranker-8B 的 48.3% 持平。整体 96.9% vs 67.3%，高 29.6 个百分点，这个差距不能外推到所有子集。

Table 5 还包含 Qwen3-Embedding 系列和 Qwen3-Reranker-0.6B/4B 等行；这里只转录与「域内 vs 域外」结论直接相关的三行。

Ablation Studies 段落（Table 6）进一步说明状态描述在做什么：去掉 goal interpretation，整体只掉 0.6 个百分点；去掉 world state，整体掉 8.8 个百分点，EK-100 掉 26.1 个百分点，EgoExo4D 掉 13.0 个百分点。域外掉得更狠，说明「动作 + 状态」的联合表示对泛化有用，而不仅仅是拟合训练分布。

Table 6 只转录与「状态描述对泛化关键」结论直接相关的三行；其余行见原文。

边界二：VPA 的胜利不是每个设置都成立

8/12 项高于 VidAssist-70B 是论文的原话，但剩下的 4 项全部落在 CrossTask：T=3 的 mAcc 36.4 vs 36.7、mIoU 48.3 vs 48.9，T=4 的 SR 7.2 vs 7.4、mIoU 51.1 vs 51.6。COIN 两个 horizon 的 6 项全涨，CrossTask 只有 T=3 的 SR 和 T=4 的 mAcc 上涨。论文没有解释这个差异；从数字上看，CrossTask 是更难的迁移场景。推断（依据：Table 2 的逐项对比；论文未给原因分析。）

边界三：system-2 的推理账没有公开

system-2 在 PlannerArena 里搜 20 条候选，每条都要 VLWM roll-out 和 critic 打分。论文报告了效果，但未报告推理延迟、FLOPs 或单条计划的成本。在需要快速反应的场景（自动驾驶、实时机器人）里，这个账不算清楚，就很难判断 system-2 是否可用。论文没有给数据，这是一个待测的开销，而不是原文结论。论文也未定量分析世界模型预测误差对规划的影响，这是另一个未验证环节。

边界四：评测是离线规划/问答，不是闭环执行

VPA 是离线预测接下来 T 步；RoboVQA 是视觉问答；WorldPrediction-PP 是在四个候选计划里选正确顺序（570 个人工核验样本；按原文，这一评测对 VLWM-critic 是 zero-shot；以 Qwen2.5-VL 生成的 caption 为条件；VLWM-critic-1B 准确率 45.4%，Figure 6）；PlannerArena 是人类对计划的偏好。它们都没有让模型在真实机器人上闭环执行，也没有报告执行成功率。论文的评测里没有闭环执行；RoboVQA 是问答，VPA 是离线预测。因此，这里的「grounded」不能直接等同于闭环控制里的物理可行性。推断（依据：§3.3 与 §3.2 的评测设置；论文未报告闭环执行。）论文自己也把范围限定在 high-level actions，区别于低层、高频的连续控制（§4.1）。

一句话：VLWM 解决的是「如何用语言世界模型做高层规划的离线推理」，不是「如何让机器人在真实世界里安全执行」。这两个问题相邻，但不是同一个。