传统 RL 智能体「知道怎么做」却说不清为什么，LLM「知道为什么」却在盘面里做不出动作。 论文用王者荣耀（HoK）真实对局把两者的目标压成同一个：给定 JSON 盘面，先在 <think> 里写分析，再在 <answer> 里选出 40 个宏动作中的 1–2 个； 专家动作只用来打二值分，GRPO 组内比较后回传。
这篇的「任务」很简单：动作预测——看主玩家此刻的盘面，说出他会做的 1–2 个宏动作（§2.2 称 K=40，附录 Table 5 实际列 id 0–43 共 44 项，id 25 = Enemy High-ground Minions 推断：K=40 与 44 项并存于原文，此处只并列、不裁断）。 难点不在分类器，而在动作是人可以写理由、机器可以判对错的离散标签，于是整个 RL 决策被重写成「结构化语言生成」。
训练分两段：SFT 数据蒸馏自 DeepSeek-R1（§4.2），让模型先学会「看盘面 → 写分析 → 给动作」的格式； 再上 GRPO（§3.2、附录 C），奖励是 答案集合与专家动作集合完全相等的二值信号，不加格式奖励，也不训奖励模型。
结果在离线动作预测上：Qwen-2.5-32B 只用 GRPO 160 步，从 66.67% 到 86.84%（+20.17 个百分点）；Qwen-3-14B 经 SFT+GRPO 2000 步到 90.91%，比 DeepSeek-R1 的 86.67% 高 4.24 个百分点。 但不是越训越好、也不是越多阶段越好——14B 在 480 步反而只有 77.92%（见 06）。
读完这一节要明白：论文要的不是更强的分类器，而是把决策题目写成「可写理由、可判对错」的样子。
论文开头给了一个很具体的例子（§1）：LLM 从攻略里学得到「不要推线太深」，但「太深」的边界只能从实际对局里摸出来。 作者把这条差距命名为陈述性知识 vs 程序性知识——前者来自文本，后者只能来自与环境的交互。
§5 原文：「their decision-making processes are typically opaque」。同时依赖大量领域工程与训练量，换环境难迁移。
§1：知识是静态的、来自网页，不是来自与游戏环境的直接交互；prompt 里塞攻略也「does not fundamentally transform declarative knowledge into procedural understanding」。
要弥合它，需要一个动作空间干净、反馈明确的场地。论文选了 MOBA（王者荣耀），并把动作抽象成 40 个宏动作：不是按哪个键，而是「打小龙 / 守中路塔 / 在中路抱团」这类团队目标（§2.2、Table 5）。 这一层抽象同时解决两件事：LLM 不用学手速，专家动作可以当标签，奖励可以写成一条规则。
输入当前盘面 st（JSON）与指令 it，输出动作集合 at ⊆ A（1–2 个）与推理链 ct（§2.3）。评估就是看 at 与专家动作对不对得上。
注意一个容易忽略的限定：动作是非互斥的（Table 1 提示词：「从不互斥的候选选项中选出最接近的1-2个建议」）。所以这道题本质是「预测一个 1–2 元动作集合」，而不是「在 40 选 1 里挑一个」。
本节对照的是论文 §1、§5 自己划的两条线，以及论文对 DeepSeek-R1 的预实验（附录 B）。
§1：搜索算法、手工启发式和 RL 在各自环境里成绩亮眼，但「rely on extensive domain-specific engineering and require massive amounts of training」，且过程「typically opaque」。
卡点：策略不是用语言写出来的，也就无法让人检查理由，更难直接迁移到新环境。
附录 B 对 DeepSeek-R1 的预实验列了两条限制：(1) Efficiency——模型太大，难以保证实时场景的响应；(2) Performance ceiling——分析能力「relies on the combination of data and strategy guides」，例如「avoid pushing the lane too far」里的「too far」需要实际经验。
卡点：上限由攻略文本决定，而不是由盘面交互决定；可惜论文没有给出这段预实验的量化数据。
论文的位置在两者中间：保留 RL「从反馈里学」的骨架（GRPO，附录 C 称 PPO 在高方差奖励与信用分配上吃力，GRPO 用组内相对优势缓解），把动作与解释都交给 LLM 用语言写完， 并用一件传统 RL 很难做的事打分段——把「专家做了什么」当成唯一的判卷人。
读完这节要能自己算出一组 G 个回答各自的优势值，并知道这个得分机制看不见什么。
奖励函数（Eq. 4，§3.2）：
优势（Eq. 1，§3.2）：
然后把 Â 塞进带 clip 和 KL 惩罚的 GRPO 目标（Eq. 3）：裁掉过大的概率比更新，再用 Eq. 2 的近似 KL 拉回参考模型。
注意 Eq. 1 没有写 std(r) 的分母口径——本页交互统一用总体标准差（÷G），手算块与 JS 同口径。
交替几位，拼一个自定义奖励序列（点击切换 0 / 1）：
每个组合用「前 w 位正确」的奖励序列计算，均值 = w/G，均值绝对优势 = 平均 |Â|。在 0 和 1 之间的重叠区，|Â| 很会缩小； 奖励二值化的代价就在这里：它只衡量「是否与专家动作集合相同」，不衡量动作在比赛中的好坏。 推断（依据：Eq. 4 仅比较与 replay 标签是否相等，§3.2 与附录 C 均未引入胜负或终局奖励）。
A 组：奖励序列 r = [1,0,0,0,0,1,1,0]（3 个 1，5 个 0）
0.3750.48411.291；错误回答：Â = (0 − 0.375) / 0.4841 = −0.775B 组：奖励序列 r = [1,1,0,1,1,0,1,1]（6 个 1，2 个 0）
0.7500.43300.577；错误回答：Â = −0.75 / 0.4330 = −1.732边界：G=16 且全部正确或全部错误时 std = 0，交互把优势记为 0.000；原文没有写这时 GRPO 如何处理，这一步是页面自定的保护，不是论文规则。
Ât = At*，没有写清当两边的动作数不同（1 个 vs 2 个）时如何判等。读完这节要知道训练信号从哪来、每段各用了多少步，以及硬件规模。
Lfill 内向前回填检测到的动作标签；再在 Loverwrite 窗口内，按 Table 5 的优先级用高优先动作覆盖低优先。注意粒度：Lfill、Loverwrite 的取值、优先级函数里的 criticality / time_window / game_impact 权重，原文都未给出数值。
§4.2：SFT 训练数据从 DeepSeek-R1「distill」，用 Megatron-LM 训练。目标是拿到「看盘面 → 写 <think> → 给 <answer>」的格式与推理习惯。
§4.2：online RL 阶段用 §3 采集的真实对局，OpenRLHF 实现 GRPO。论文称 T 为「online RL」，但数据是 replay 里的专家动作，不是与游戏引擎实时交互（见 07）。
| 模型 | GRPO 步数上限（§4.2） | Table 2a 报告点 |
|---|---|---|
| Qwen-2.5-14B | up to 700 | 360 / 480 / 600 |
| Qwen-2.5-32B | up to 160 | 160 |
| Qwen-3-14B | over 2,000 | 400 / 2000 |
上表为 §4.2 与 Table 2a 的转录。步数随模型不同是作者明说的「Due to computational constraints」；论文没有解释为什么不是每个模型都报同一组步数。
工程设定（§4.1）：4 台服务器 × 8 张 NVIDIA H20（96 GB）；prompt_max_len = 8192，generate_max_len = 2048。组大小 G、采样温度、学习率等 GRPO 超参原文未给出。
通用能力方面，Table 2 用 Ape210K、SchoolChinese、MMLU、Ceval、CharacterEval、BBH、IfEval 七项检查是否遗忘——数据已转录进 06 节。
把 §3.1、§3.2 和 Figure 1 的流程按时间顺序串起来。
推理时没有 GRPO 的那一圈：盘面 JSON + Table 1 的中文提示词 + 40 个候选动作 → 一条 <think> + <answer>。 论文 §4.1 提到评估时会「re-sample a subset of examples and slightly modify the output format」来防止数据泄漏，但没说改了哪些格式。
本节所有数字来自 Table 2a（动作预测准确率，保留两位小数的原文写法）；差异均以百分点（pp）标注绝对差，括号内给相对差。
| 模型 / 方法（Table 2a） | 准确率 % |
|---|---|
| QwQ-32B（参照） | 75.22 |
| Deepseek-R1（参照） | 86.67 |
| Qwen-2.5-32B | 66.67 |
| Qwen-2.5-32B + GRPO（本文，steps=160） | 86.84 |
| Qwen2.5-14B | 53.25 |
| Qwen2.5-14B + SFT | 70.13 |
| Qwen2.5-14B + GRPO（steps=360） | 79.22 |
| Qwen2.5-14B + SFT + GRPO（本文，steps=480） | 77.92 |
| Qwen2.5-14B + SFT + GRPO（本文，steps=600） | 83.12 |
| Qwen-3-14B | 82.89 |
| Qwen-3-14B + SFT + GRPO（本文，steps=400） | 85.71 |
| Qwen-3-14B + SFT + GRPO（本文，steps=2000） | 90.91 |
上表逐行转录自 Table 2a（原文按模型分块，这里保留原顺序）。QwQ-32B 与 Deepseek-R1 是参照行，不属于本文训练结果。
0.17 pp（相对 0.20%，0.17 / 86.67）。原文把 32B+GRPO 的 86.84 与 R1 的 86.67 并列在同一张表里，没有单独评论这 0.17 pp。1.30 pp（推断：可能是步数或 checkpoint 选择差异，原文只写「Due to computational constraints, we vary the number of training steps」）。12.99 pp，相对 18.52%）。3.78 pp（3.78 / 86.67 = 4.36%）。通用能力（Table 2）的转录如下——论文结论是「preserves, and in some cases slightly improves」：
| 模型 | ape_210k | SchoolChinese | MMLU | Ceval | CharacterEval | BBH | IfEval |
|---|---|---|---|---|---|---|---|
| Qwen2.5-14B | 79.0 | 95.7 | 76.2 | 76.7 | 3.05 | 60.7 | 64.8 |
| Qwen2.5-14B+SFT+GRPO | 78.8 | 95.8 | 76.3 | 76.2 | 3.04 | 61.3 | 64.9 |
| Qwen3-14B | 93.5 | 91.6 | 80.3 | 83.1 | 3.01 | 65.8 | 65.8 |
| Qwen3-14B+SFT+GRPO | 94.1 | 91.3 | 80.4 | 82.8 | 3.01 | 66.9 | 65.3 |
| Qwen2.5-32B | 84.0 | 98.1 | 83.2 | 87.7 | 3.13 | 67.5 | 85.8 |
| Qwen-2.5-32B + GRPO | 85.0 | 97.9 | 83.5 | 87.4 | 3.13 | 69.7 | 85.3 |
原文特别提到「a consistent improvement in the logical reasoning task (BBH)」——但与原文的「consistent」并列看，Ceval、CharacterEval、IfEval 多项训练后下降，例如 Ceval 76.7 → 76.2、IfEval 85.8 → 85.3。
Figure 2b 的雷达图（原图为位图，本页未转录各轴数值）对比 Qwen-2.5-32B、DeepSeek-R1、Qwen-2.5-32B + GRPO 的 5 类错误，图例只有三种颜色，没有区分 GRPO 的步数。肉眼可读的趋势是：GRPO 模型在 Situational Misjudgement、Spatio-Temporal Miscoordination 与 Basic Game Knowledge Errors 三轴上均比基线更靠内。推断（依据：审稿人 450dpi 读图估计，Basic Game Knowledge Errors 轴 GRPO ≈2、基线 ≈3；图仅作示位，无点值）。
| 模型 | Game-state Strong Related | Game-state Weak Related | ||||
|---|---|---|---|---|---|---|
| 0 | 1 | 2 | 0 | 1 | 2 | |
| Deepseek-R1 | 17.14% | 25.71% | 57.14% | 3.70% | 16.67% | 79.63% |
| Qwen-2.5-32B | 31.43% | 38.57% | 30.07% | 34.78% | 26.09% | 39.13% |
| Qwen-2.5-32B + GRPO（steps=160） | 21.43% | 38.57% | 40.00% | 28.89% | 33.33% | 37.78% |
评分 0 = Incorrect，1 = Partially Correct，2 = Correct（Table 3 表注）。「Strong Related」的 2 分数在 GRPO 后为 40.00%，仍低于 R1 的 57.14%；「Weak Related」的 2 分数 37.78%，低于 R1 的 79.63%。
论文自己在 §7 列了四条限制，下面再补三条从数据里能读出来的。
原文：「The effectiveness of TiG is inherently tied to the capabilities of the underlying LLM backbones.」复杂或实时场景下底座的短板会直接变成策略的短板。
原文：「The generalizability of TiG to other interactive domains—such as robotics or real-world tasks—remains to be thoroughly investigated.」论文全部实验只在王者荣耀完成。
原文：「it still requires a substantial amount of environment interaction. This requirement may be prohibitive in scenarios where data collection is expensive or time-consuming.」注意：这里的交互来自 replay 数据，而非与引擎实时交互。
原文：「In some cases, these explanations may not fully or accurately reflect the underlying decision-making process.」<think> 是联合生成的文本，不是对内部计算的审计。
Eq. 4 只有「与专家动作集合是否相等」这一个信号，没有胜负、没有终局奖励，也没有对「理由写得好不好」的单独评分。模型学的是跟专家一致；能否超越专家或发现新策略，论文没有实验回答。
真值先经过回填与优先级覆盖，再每分钟抽一帧；动作集合是否「相等」又要精确比较。这两步都会把「玩家本来做什么」压成更粗的标签。Lfill、Loverwrite 未给数值，无法估计这种压缩的影响。
Table 2a 中 14B 的 480 步（77.92%）低于 360 步纯 GRPO（79.22%），而 3-14B 400 步（85.71%）到 2000 步（90.91%）才拉开。训练步数、checkpoint 选择和样本量对最终数字的影响在论文中没有被分离。
一句话：TiG 的卖点是「用语言写出决策 + 用规则自动判卷」，在离线动作预测上确实能把 14B 顶到超过大模型；但它不改变「监督来自专家」这个前提，也不等于在线交互训练。