Paper · arXiv 2025 · 具身指令跟随

ExRAP：把「探索」算进规划，让机器人持续跟随动态指令

持续指令跟随要求智能体在非平稳环境里反复核对条件：不探索会拿到过时记忆，盲目探索又会让每一步都变贵。 ExRAP 把指令拆成 query 与 execution，用带时间戳的 TEKG 存观察，再把信息增益作为探索价值，与 LLM 的利用价值一起加权选技能。

Minjong Yoo, Jinwoo Jang, Wei-jin Park, Honguk Woo · SKKU / Acryl arXiv 2509.08222v1 ↗ 博客笔记 ↗

TL;DR · 30 秒抓住核心

持续指令跟随不是一次性任务：多条条件指令同时生效，环境状态持续变化；智能体既要判断条件是否满足，又要在条件满足后尽快执行。论文用 SR（任务成功率）与 PS（条件满足到完成的平均步数）两个指标衡量（Eq.1）。

ExRAP 的记忆是 TEKG：四元组 (se, re, te, t) 随时间累积；查询评估先用检索到的子图问 LLM，再用时间一致性把「越旧反而越确定」的响应剔除。

规划时，LLM 给技能的利用价值 v_T 与信息增益近似的探索价值 v_R 加权求和； Table A.4 的默认权重是 w_R=1.0、w_T=0.01。

在 VirtualHome、ALFRED、CARLA 的 9 个「环境 × 非平稳性」设置里，ExRAP 的 SR 都高于 LLM-Planner；消融显示时间一致性和探索项都影响结果。

59.11%

ALFRED 高非平稳 SR
LLM-Planner 35.76%；差 23.35 个百分点

8.61

VirtualHome 高非平稳 PS
LLM-Planner 14.94；少 6.33 步

13.9×

检索 + 推理 / 无检索推理（复算）
2.248 s vs 31.243 s；原文 approximately 14 times

持续指令不是一次性任务，难在「什么时候该去看」

先建立任务设定：多条条件指令、非平稳环境、两个指标。

论文把持续指令跟随定义为一组条件指令 I = {i₁, …, i_M} 在非平稳环境中同时、持续生效。每条指令拆成 query q（要验证的环境条件）与 execution e（条件满足后要执行的操作）；query 需要对着环境状态反复验证，而不是一次规划完就结束。

指标有两个：SR 是条件已满足的任务中完成的比例；PS 是从条件实际满足到任务完成的平均步数。Eq.1 把两者合成一个目标：最大化各步的 SR，同时最小化 PS 的期望。

π^* = argmax_π [ Σ_t SR(s_t, π(o_t, I)) + E_{i∈I_C}[ −PS(π, i) ] ]

Eq.1 · 任务完成与执行效率放在同一个目标里

两个朴素做法都不够好。第一种是 instruction-wise：每次按指令逐条检查，移动次数随指令数增长；第二种是只信旧记忆：环境已经变了，查询评估仍按旧状态回答。论文要处理的是这两者之间的张力——记忆的有效性 vs 探索负载。

非平稳性用环境条件变化的间隔控制：高 / 中 / 低分别每 4 / 6 / 8 个 timestep 变一次（Appendix B）。变化越快，旧记忆越容易失效，探索越重要。

核心张力

不探索会错，探索太多会慢

PS 直接把「等待」计入指标：智能体不能为了确认一个条件而无限绕路。ExRAP 的规划目标因此不是「探索最多」，而是「用尽量少的探索把记忆维持在足够可信的状态」。

已有 LLM 规划器会做任务，但不会主动维护环境记忆

两路对照：LLM 任务规划与 RAG / 探索；它们各自缺了什么。

LLM 规划器

把当前任务做对

ZSP 把指令翻译成技能序列；SayCan 用 LLM 的语言 affordance 与 RL 学到的 embodied affordance 打分；ProgPrompt 用代码式提示生成计划；LLM-Planner 检索 in-context 演示并逐步推理。

缺什么：它们主要优化「当前任务怎么完成」，观察信息通常以非系统化的方式塞进 prompt；很少显式处理多条持续指令，也没有把「去看一眼」当作一个可优化的动作。

RAG 与 RL 探索

检索信息或探索环境

RAG 从数据库检索任务相关信息；embodied RAG 用任务演示增强规划。RL 里的探索用内在奖励或互信息（如 DREAM）来收集信息。

缺什么：这些工作分别解决「检索什么」和「往哪探索」，但没有把信息增益直接接进 LLM 的任务规划，也没有处理记忆随时间衰减的问题。

ExRAP 的位置：用 TEKG 把环境观察变成可检索、带时间戳的记忆；用时间一致性修正查询评估；再把互信息近似的探索价值与 LLM 的利用价值合成一个技能选择规则。它不是把 RAG 当成静态文本检索，而是把「检索什么、什么时候重新检索」也纳入规划。

把「记忆是否可信」和「下一步去哪」写成两个可计算的量

四个部件：TEKG、查询评估、时间一致性、探索价值；最后合成一个技能选择规则。

TEKG：每条观察都带时间戳

TEKG 的每个事实是四元组 τ = (se, re, te, t)：源实体、关系、目标实体、时间戳。G_t 只包含 t_i ≤ t 的四元组。

G_t = { τ₁, …, τ_N }, τ_i = (se_i, re_i, te_i, t_i), t_i ≤ t
G_t+1 = μ(G_t, o_t+1) = { τ ∈ G_t | c(τ, τ′) = 0, ∀τ′ ∈ o_t+1 } ∪ o_t+1

Eq.2–3 · c 检测语义矛盾（例如电视同时为 on 和 off）；更新时删掉与最新观察矛盾的旧四元组，再加入新观察

Appendix C.2 给了两条实现规则：与 agent 相关的四元组只保留最新时间步；对象状态相反，或同一对象同时出现在两个位置时，删掉旧四元组。这样记忆不会无限堆叠互相矛盾的旧状态。

查询评估：检索子图没变，就不重复调用 LLM

指令解释器 Φ_I 把 I 映射为 queries Q、executions E 和条件函数 C，其中 C(q_j) = e_j（Eq.4）。查询评估器 Φ_M 估计 P(q|G_t)：如果检索到的子图与上一步相同，就直接复用上一步的结果；否则把检索子图、上一步结果和时间 t 一起交给 LLM。

P(q|G_t) = Φ_M(q, t, G_1:t, P(q|G_t−1))
= R(q|G_t−1) if Ĝ_1:t = Ĝ_1:t−1
= Φ_LLM(q, t, Ĝ_1:t, R(q|G_t−1)) otherwise

Eq.5 · 检索子图没变就复用 prior；变了才把 prior 作为上下文重新评估

当 P(q|G_t) > θ 时，对应的 execution 进入待执行集合 E_t（Eq.8）；默认 θ = 0.5（Table A.4）。

时间一致性：旧记忆不应该「越老越确定」

记忆越旧，查询响应的不确定性应该越高。论文把这条直觉写成约束：用 G_t−1 在 t 时刻算出的 prior 的熵，必须大于上一步的熵。

H(R(q|G_t−1)) > H(P(q|G_t−1))

Eq.6 · 不满足这条约束的响应被视为「旧记忆给出了过确定的答案」，丢弃

具体做法：对同一个 query 采样多次 Φ_LLM，只保留满足 Eq.6 的响应，再取平均（Eq.7；Algorithm 1 第 10–18 行，最多 10 次）。这既是对信息衰减的建模，也是一种集成，降低单次 LLM 输出的方差。

探索价值：这个技能能减少多少查询熵

利用规划器 v_T 用 LLM 在 in-context 演示下给技能打分（Eq.9）。探索规划器 v_R 则看技能执行后能减少多少查询响应的不确定性：

v_R(G_t, z) = I(Q; G_t+1) − I(Q; G_t)
= Σ_q∈Q H(P(q|G_t)) − H(P(q|G_t+1))

Eq.10 · 互信息增益 = 执行技能后查询熵的下降量

直接算 G_t+1 需要先执行技能，不可行。论文只对检索到的、与查询相关的知识做近似：

v_R(G_t, z) ≈ Σ_q∈Q H(P(q|G_t)) · (1 − d(Φ_R(G_t^z, {q})) / d(Φ_R(G_t, {q})))

Eq.11 · d 是检索四元组到当前 agent 实体的平均距离；G_t^z 是执行技能 z 后的预测部分更新图，只改与 agent 相关的四元组

直觉：技能让 agent 在图上更靠近与 query 相关的区域，分母变小、括号变大，探索价值上升。这个近似依赖一个假设：TEKG 与真实环境完全同步时，查询评估器的熵为零（§3.4）。

技能选择：两项加权，权重不是 1:1

z_t = argmax_z∈Z [ w_T · v_T(G_t, z) + w_R · v_R(G_t, z) ]

Eq.12 · 利用价值与探索价值的加权和；Table A.4 默认 w_R=1.0、w_T=0.01

Table A.4 固定 w_R=1.0、w_T=0.01；论文没有报告这两个权重的敏感性分析。两项的定义不同、量纲不同，不能把 1.0 与 0.01 直接读成重要性比例；它们只是论文实验设定下的缩放系数。推断（依据：原文只给固定权重，未报告权重敏感性或量纲归一化）。

没有训练阶段：每一步都是检索 + 多次 LLM 调用

工程账本：模型、超参数、耗时、硬件。

论文没有描述训练阶段；ExRAP 靠 LLM 的 in-context learning、TEKG 检索和一套固定的打分规则，在推理时逐步决策。默认 LLM 是 Llama-3-8B；Gemma-2B 和 Llama-3-70B 用于消融设置（Appendix C 的 Table A.4 原文只写 Ablation study；模型规模对比见 Table 6）。

每一步的开销主要来自：检索 k=12 个四元组、查询评估对每个 query 最多 10 次 LLM 采样（query 数为 M，故每步最多约 M×10 次）、利用规划器的 LLM 打分；探索规划器则用查询熵与图距离做信息增益估计，不额外调用 LLM。Table A.4 的超参数如下。

Table A.4 改写（Appendix C.2；ExRAP 的超参数；LLM 行由原文两行合并）
超参数	值
LLM	Llama-3-8B（默认）；Gemma-2B / Llama-3-70B（消融设置；原文只写 Ablation study，未点名 Table 6）
Temperature	0.33
In-context retriever	dpr-ctx_encoder-single-nq-base + BM25
Number of prompts	3
Retrieved quadruples `k` for Φ_R	12
Iterations of query evaluator	10
Maximum new tokens	40
Filtering threshold θ	0.5
Exploration weight `w_R`	1.0
Exploitation weight `w_T`	0.01

数据侧：VirtualHome 用 10 个环境设置、100 条轨迹；ALFRED 和 CARLA 各 50 条轨迹推断（原文只写 50 trajectories in ALFRED and CARLA，未明确是否为各 50；本页按各 50 呈现）。这些轨迹只用于 in-context learning，评测用的是不同的环境设置（Section 4 Datasets）。

耗时：Table A.8 报告平均检索与 LLM 推理时间。

Table A.8 转录（Appendix E.2；平均检索与 LLM 推理时间；RTX A6000 + i9-10980XE）
检索四元组	检索演示	LLM 推理	LLM 推理（无检索）
0.021 s	0.024 s	2.203 s	31.243 s

按 Table A.8 把前三项相加得到 2.248 s；相对无检索推理的 31.243 s，复算比值约 13.9×（Appendix E.2 原文写 approximately 14 times）。这是「检索 + 推理」相对「无检索推理」的耗时比，不是端到端规划延迟：它说明检索把上下文压短后，LLM 推理本身快了很多。论文 Limitation 仍指出，TEKG 与时间一致性带来额外计算，runtime overhead 需要进一步研究。

Appendix C 还写明：每次实验运行 4 小时，硬件是 Intel i9-10980XE + 2× NVIDIA RTX A6000。这个 4 小时是完整实验 run 的墙钟时间，不是单步决策延迟。

两条链在每一步闭合：查询评估 → 规划 → 环境 → 记忆更新

按 Figure 2 重绘的简化流程图；看循环在哪里闭合。

Figure 2 的简化重绘：上排是 (a) memory-augmented query evaluation，下排是 (b) exploration-integrated task planning。
展开说明 ▸

覆盖：Figure 2 的 (a) 查询评估主链（指令解释器 → queries / executions → 检索 TEKG → 查询评估 → 阈值筛选）和 (b) 探索集成规划主链（技能 → 利用 / 探索两个规划器 → 加权 → 环境步 → 记忆更新回路）。
未覆盖：原图中的示例指令文本、检索的 softmax 采样细节、TEKG 更新的两条具体实现规则（Appendix C.2）、Algorithm 1 的 10 次采样循环，以及 temporal consistency 的响应过滤在图中只画成一个方框。
因此这是简化重绘，不是逐像素还原。图中箭头表示数据流，不表示论文的完整控制流。

循环的关键在于：规划选出的技能 z_t 不仅改变环境，也改变下一步的 TEKG；查询评估的结果又反过来影响哪些 execution 进入 E_t。ExRAP 把「维护记忆」和「完成任务」放在同一个循环里，而不是先探索完再规划。

九个设置里 SR 都更高，但「差距随非平稳性扩大」只在平均意义上成立推断

先看 Table 1 的九格，再看规模、消融和小模型。

Table 1 在 VirtualHome、ALFRED、CARLA 三个环境、低 / 中 / 高非平稳性下比较 SR 与 PS。下表转录 ExRAP 与论文称为最具竞争力基线（most competitive baseline）的 LLM-Planner 的点估计（ALFRED 高非平稳下 SayCan 的 35.79 略高于 LLM-Planner 的 35.76）；完整 ±95% CI 见原文 Table 1。

Table 1 中 ExRAP / LLM-Planner 两行的点估计转录（其余基线未转录；省略 ± 值，Table 1 明确为 95% CI；VirtualHome 10 seeds，ALFRED/CARLA 5 seeds）
环境 / 非平稳性	ExRAP SR (%)	LLM-Planner SR (%)	ExRAP PS	LLM-Planner PS
VirtualHome · low	61.12	40.97	11.75	17.61
VirtualHome · medium	55.14	39.89	11.33	15.93
VirtualHome · high	50.12	34.60	8.61	14.94
ALFRED · low	69.90	58.44	5.94	7.28
ALFRED · medium	64.00	51.80	4.82	7.28
ALFRED · high	59.11	35.76	4.42	6.65
CARLA · low	65.25	50.83	12.43	14.02
CARLA · medium	62.25	44.00	11.50	14.39
CARLA · high	58.83	41.58	10.84	13.59

自己切换：环境 × 非平稳性

选一个环境，看 ExRAP 与 LLM-Planner 在低 / 中 / 高非平稳性下的 SR 与 PS。柱高直接用表中数值；PS 图按 0–20 步归一化，便于同图比较。

lowmediumhigh

ExRAP LLM-Planner SR（%，轴 0–100）

lowmediumhigh

ExRAP LLM-Planner PS（步，轴 0–20）

VirtualHome · Table 1

ExRAP SR 61.12 / 55.14 / 50.12；LLM-Planner SR 40.97 / 39.89 / 34.60。
ExRAP PS 11.75 / 11.33 / 8.61；LLM-Planner PS 17.61 / 15.93 / 14.94。

手算对账：两组参数 → 差值与交互读数逐位一致

组 1：VirtualHome · high。SR：50.12 − 34.60 = 15.52 个百分点；PS：14.94 − 8.61 = 6.33 步。

组 2：ALFRED · high。SR：59.11 − 35.76 = 23.35 个百分点；PS：6.65 − 4.42 = 2.23 步。

标准差口径：Table 1 的 ± 是 95% CI（VirtualHome 10 seeds，ALFRED/CARLA 5 seeds）；本页不重算 CI，也不做跨 seed 聚合，因此不涉及 ÷N 或 ÷(N−1)。

三个高非平稳设置里，SR 差分别为 15.52（VirtualHome）、23.35（ALFRED）、17.25（CARLA）个百分点；PS 差分别为 6.33、2.23、2.75 步。九个设置的 SR 都更高、PS 都更低。

论文 §4.1 说差距随非平稳性扩大：SR gap 从 low non-stationarity 的 15.35% 升到 high non-stationarity 的 18.58%。按 Table 1 三环境点估计复算平均，SR 差从低非平稳的 15.34 升到高非平稳的 18.71 个百分点（复算值与原文 15.35 / 18.58 的细小差异可能来自原文使用未舍入值或逐 seed 聚合推断；依据：本页只能对 Table 1 两位小数的三环境点估计直接平均，原文未说明聚合方式）。但分解到单环境，VirtualHome 反而从 20.15 降到 15.52，ALFRED 从 11.46 升到 23.35，CARLA 从 14.42 升到 17.25；平均意义上的扩大主要由 ALFRED 推动，不是每个环境都单调。推断（依据：Table 1 三环境 low/high 的 SR 差分别为 20.15/11.46/14.42 与 15.52/23.35/17.25）。一个可能的解释是 VirtualHome 内部 low 设置的差距（20.15）反而大于 high 设置（15.52）：ExRAP 从 61.12 降到 50.12（−11.00 个百分点），LLM-Planner 只从 40.97 降到 34.60（−6.37 个百分点），基线下降更少使差距收窄。推断（依据：由 Table 1 同环境 low/high 的 SR 差相减；本页没有逐 seed 数据，无法排除其他因素）

按 Table 1 的 95% CI（CI 数值未转录），九个设置的 ExRAP 与 LLM-Planner SR 区间都不重叠；论文没有报告显著性检验，这里只陈述区间不重叠这个事实。

指令规模：7 条指令时差距最大

Table 2 在 VirtualHome 中等非平稳下把指令数从 3 加到 7。

Table 2 中 ExRAP / LLM-Planner 两行的点估计转录（其余基线未转录；VirtualHome，中等非平稳；省略 ± 值（原文未注明置信水平；Table 1 明确为 95% CI））
持续指令数	ExRAP SR (%)	LLM-Planner SR (%)	ExRAP PS	LLM-Planner PS
3（small）	67.77	49.28	12.29	17.13
5（medium）	55.14	39.89	11.33	15.93
7（large）	53.86	31.82	8.76	17.63

7 条指令时，SR 差 22.04 个百分点，PS 差 8.87 步；3 条指令时分别是 18.49 和 4.84 步。从 3 条到 7 条，baseline PS 从 17.13 升到 17.63（5 条时为 15.93）；ExRAP 的 PS 从 12.29 降到 8.76，差距在效率维度上更明显。

消融：时间一致性与探索项在表内三档非平稳性下都影响结果

Table 4 去掉时间一致性（ExRAP-TC），Table 5 替换探索策略（ExRAP-LLM / ExRAP-EXP）。原文 §4.2 称消融在 VirtualHome 的 medium non-stationarity 下进行，但 Table 4/5 表头实际列出 low / medium / high 三档，且 Table A.6 的 Medium continual instruction（5 条）段列出了 ExRAP 61.13 / 55.14 / 49.73、ExRAP-TC 47.25 / 43.92 / 27.91，与 Table 4 的三列数值一致；ExRAP-LLM 34.23 / 29.42 / 21.81、ExRAP-EXP 43.33 / 40.68 / 29.36 也与 Table 5 一致。据此，本页把 Table 4/5 理解为「5 条指令 × low / medium / high 三档非平稳性」推断（依据：Table A.6 的 Medium continual instruction 段与 Table 4/5 数值逐项一致；原文 §4.2 却称 medium non-stationarity）。原文两处口径冲突，页面按表格三档呈现，不把 medium 当作唯一条件。

lowmediumhigh

ExRAP ExRAP-TC ExRAP-LLM ExRAP-EXP SR（%，轴 0–100）

时间一致性 · Table 4

ExRAP 61.13 / 55.14 / 49.73；ExRAP-TC 47.25 / 43.92 / 27.91。表中 medium 列差 11.22 个百分点，high 列差 21.82 个百分点。

手算对账：两组消融参数 → 差值与交互读数逐位一致

组 1：Table 4 · medium 列。ExRAP 55.14 − ExRAP-TC 43.92 = 11.22 个百分点。

组 2：Table 5 · medium 列。ExRAP 55.14 − ExRAP-LLM 29.42 = 25.72 个百分点；ExRAP 55.14 − ExRAP-EXP 40.68 = 14.46 个百分点。

标准差口径：Table 4/5 的 ± 值原文未注明置信水平（Table 1 明确为 95% CI）；PS 与 ± 值未转录，交互只显示 SR 点估计。本页不重算 ± 值，也不做跨 seed 聚合，因此不涉及 ÷N 或 ÷(N−1)。

表中 medium 列，ExRAP-TC 的 SR 为 43.92，比 ExRAP 的 55.14 低 11.22 个百分点；high 列，27.91 vs 49.73，低 21.82 个百分点。Table 5 的 medium 列中，ExRAP-LLM 29.42、ExRAP-EXP 40.68，分别比 ExRAP 低 25.72、14.46 个百分点。时间一致性在环境变化最快时影响最大推断（依据：Table 4 的 high 列差值大于 low / medium 列；本页未做显著性检验）；探索项则不是简单地把 LLM 换成「explore the home」就能替代。

模型规模：ExRAP 的曲线更平

Table 6 换用 Gemma-2B / Llama-3-8B / Llama-3-70B。表题没有标注环境与非平稳设置，因此只做同表内的比较。

Table 6 转录（SR 列是 ExRAP / LLM-Planner / SayCan 三个方法，行是三个 LLM（Gemma-2B / Llama-3-8B / Llama-3-70B）；本页 PS 仅转录 ExRAP；表题只写 Impact of different LLMs，未标注环境 / 非平稳设置）
LLM	ExRAP SR (%)	LLM-Planner SR (%)	SayCan SR (%)	ExRAP PS
Gemma-2B	52.75	23.31	27.55	13.36
Llama-3-8B	54.89	39.07	34.31	10.59
Llama-3-70B	55.12	47.18	45.11	10.07

ExRAP + Gemma-2B 的 SR 为 52.75%，比同表 LLM-Planner + Gemma-2B 的 23.31% 高 29.44 个百分点；也高于 LLM-Planner + Llama-3-70B 的 47.18%，高 5.57 个百分点。ExRAP 从 8B 换到 70B 只多 0.23 个百分点，LLM-Planner 多 8.11 个百分点。这说明在这张表的设置里，ExRAP 的收益不只来自更大的 LLM；记忆与规划结构本身贡献了相当一部分。推断（依据：Table 6 中 ExRAP 的 SR 随模型增大变化很小，而 LLM-Planner 变化更大）。

它解决的是「记忆怎么维护」，不是「机器人什么都能做」

论文自己承认的限制，加上从实验设置能看到的边界。

边界一

计算开销不是零

TEKG 管理 + 时间一致性 + 每个 query 最多 10 次采样，比单次 LLM 规划更贵。论文 Limitation 明确说 computation effort 增加，runtime overhead 仍需研究；按 Appendix E.2 / Table A.8 复算得 13.9×（原文写 approximately 14 times），它是「检索 + 推理」相对「无检索推理」的比值，不是端到端延迟。

边界二

依赖 LLM 与结构化记忆

TEKG 用四元组表示对象状态、位置、房间邻接等；查询评估和规划都依赖 LLM 的常识与上下文能力。Table 6 显示 ExRAP 在 Gemma-2B 上仍有 52.75% SR，但论文仍把 LLM 能力列为限制。

边界三

只在模拟器里验证

VirtualHome、ALFRED、CARLA 都是模拟器；论文没有报告真实机器人实验。感知噪声、执行失败、传感器误差会不会破坏时间一致性假设，未验证。推断（依据：三个实验环境均为模拟器，论文未报告 sim-to-real 实验）。

边界四

超参数与长期规模未展开

θ=0.5、w_R=1.0、w_T=0.01 是固定值；论文没有给出敏感性分析。TEKG 长期运行时的规模、检索延迟、内存增长也没有报告。指令类型只测了 sentence-wise、summarized、object ambiguation 三类（Table 3；数值未转录），更开放、含糊或需要外部知识的指令不在评测范围内。推断（依据：Table 3 只列这三类，论文未声明覆盖其余指令类型）。

什么时候别用：如果环境变化慢、指令少、单次规划成本敏感，或者无法承担多次 LLM 调用，ExRAP 的探索收益可能覆盖不了开销。推断（依据：它的收益主要出现在非平稳 / 多指令设置，而开销来自每步的检索与采样；论文没有报告这一取舍的拐点）。