长时程任务里，高层规划常常「计划定了就不改」，步进式方法又「只看下一步」。HiPlan 从专家演示里抽出里程碑这一中等粒度经验：任务级检索生成全局里程碑指南，里程碑级检索生成每步提示；提示里明确写出当前状态、与里程碑的差距、以及必要时的动作修正。
长任务的两难不是「会不会拆子目标」，而是拆完之后的执行：全局指南给方向，却不知道下一步具体做什么；步进式提示知道下一步，却容易在长序列里迷路。
HiPlan 把「经验」切成里程碑，而不是整条轨迹或单个动作。离线用 GPT-4o 把 577 条专家演示切成 3,330 条「里程碑描述 + 动作片段」；在线先检索相似任务生成里程碑指南，再在每一步检索相似里程碑生成步进提示。
提示固定包含三块：State Context、Milestone Gap、Action Correction。前者防止上下文丢失，中者把当前状态和里程碑目标对齐，后者只在动作偏离时出现。
代价是：需要专家演示；里程碑切分依赖 GPT-4o；论文没有报告 token、延迟或库规模扩大后的表现。
读完这节你应该知道：为什么把任务拆成子目标还不够，为什么每一步都看观察也不够。
论文把问题放在部分可观测的 POMDP 里：状态 S、动作 A、观测 O、转移 T；agent 要在看不到完整环境的情况下，按自然语言指令 τ 生成一串动作。ALFWorld 的动作序列可以超过 50 步；WebShop 有 200 条测试指令、超过 118 万件商品。步数一长，局部决策的误差会累积，全局目标也容易被冲淡。
优点是方向清楚，全局目标不容易丢。问题是计划一旦生成就很少改：遇到执行错误或环境变化时，缺少局部修正。
论文还指出，这类方法常用完整历史轨迹做示范，任务细节太多，反而降低泛化。
优点是反应快，能根据实时观测调整动作。问题是容易只看脚下：长序列里会重复探索、陷入局部最优。
而且它很难复用当前观察之外的历史经验，换一个任务就要重新摸索。
两者如果分开做，就会一边僵硬、一边短视。HiPlan 的目标不是二选一，而是让两层在同一套经验上联动：用里程碑库同时支撑全局路线和局部提示。
“Top-Left: High-level planning with global subgoals lacking flexibility; Top-Right: Step-wise methods with local adaptability but limited global guidance; Bottom: HiPlan’s hierarchical approach combining milestone guidance and step-wise hints for adaptive and robust planning.”
图注把两种失败模式并列；HiPlan 的位置是底部，把里程碑指南和步进提示叠在一起。本页未转录原图，只引用图注。
看清三类基线各自缺什么，才能理解 HiPlan 为什么要做「任务级 + 里程碑级」两次检索。
代表作包括 Decomposed Prompting、Plan-and-Solve 等。先把任务拆成子目标，再按子目标执行。
盲区：子目标序列通常是固定的；执行中遇到意外，缺少逐动作的修正信号。
ReAct 是代表：推理和动作交错，每一步根据当前观察决定下一步。
盲区：没有显式的全局结构，长序列里容易绕路；经验复用通常只来自当前观察或短期记忆。
TRAD 按 thought-level 相似度检索轨迹片段，再对齐决策。它比纯 ReAct 多了经验复用，但检索单位仍然是动作级/轨迹片段级，没有把全局里程碑结构显式建模。论文指出，低层动作示范在 WebShop 里可能引入显著噪声。
Table 2 的 Mixtral 块：TRAD 成功率 0.04，低于 REACT 0.19 和 REACT+Reflexion 0.24；Table 1 的 Mixtral ALFWorld 块：TRAD 的 All 是 0.78，是三个基线里最高的。
论文的解释是：WebShop 里直接提供低层动作示范，容易引入显著噪声，模型可能在 40 步内买不到目标商品；TRAD 对任务形态敏感。
HiPlan 的切口因此不是「再做一个更强的检索器」，而是换检索单位：把动作抬到里程碑，同时保留任务级和里程碑级两层。下一节拆开这两个阶段。
这一节拆开 HiPlan 的两个阶段：库怎么建、全局指南和局部提示怎么生成。
给定成功演示集合 D = {(τ(i), ξ(i))}，每条轨迹 ξ(i) 被切成 K(i) 个连续片段 ζk；LLM 为每个片段生成里程碑描述 mk。任务和里程碑都用 all-mpnet-base-v2 编码；库中存四元组：
τ 的五元组，最终库定义用四元组，本页按最终定义。
切分和描述由 GPT-4o-2024-08-06 完成；库的统计见 §04 的 Table 3：577 条演示、3,330 条库记录，平均每个里程碑 1.70 个动作。这个长度很关键——它比单步动作长，比整条轨迹短。
测试任务 τ 先编码为 vτ，检索 top-M=2 个相似任务；检索分数是归一化点积，随后还按轨迹长度重排，优先更短、更通用的示范。LLM 以 τ 和检索到的 (τ(j), ξ(j), Gτ(j)) 为输入，生成里程碑指南：
执行到第 t 步，当前里程碑是 mψ(t)；用它检索 top-P=2 个相似里程碑及其轨迹片段。检索时做轨迹级去重：两条命中不能来自同一条专家轨迹；每个片段还多取一个动作，作为前向上下文。LLM 结合当前里程碑、完整动作-观测历史、检索片段，生成步进提示：
最后，策略把两层指导合起来：
论文的选择是「里程碑」：比单步动作长，比整条轨迹短。Table 3 给出平均每个里程碑 1.70 个动作（ALFWorld 1.78、WebShop 1.11），平均每条轨迹 5.77 个里程碑。下面把三个粒度换算成「检索 R 条经验时 LLM 看到的动作条数」。
R 是本页为了对比粒度而设的假设变量，不是论文的实验变量；论文固定任务级 M=2、里程碑级 P=2。数值按 Table 3 的平均值相乘估算。
覆盖：Table 3 的两组平均值（5.89 / 5.00 个里程碑每轨迹，1.78 / 1.11 个动作每里程碑）→ 三种粒度在「检索 R 条经验」时暴露的动作条数；ALFWorld / WebShop 切换；R 从 1 到 6 的线性缩放。
没覆盖：检索相似度计算、任务级长度重排、里程碑级轨迹去重、每个片段多取一个动作、LLM 生成指南/提示的过程、任务成功率。R 不是论文的实验变量；论文固定 M=2（任务级）和 P=2（里程碑级）。
因此这个模拟只能说明「粒度越粗，单条经验带入的动作越多」这一算术关系，不能用来推断成功率或消融幅度。
第 1 组：ALFWorld，R=2。Table 3 给的平均值是 5.89 个里程碑/轨迹、1.78 个动作/里程碑。按 Table 3 的平均值相乘，每条轨迹约 5.89 × 1.78 = 10.48 个动作。
2 × 1 = 2.002 × 1.78 = 3.562 × (5.89 × 1.78) = 2 × 10.4842 = 20.9684 → 20.97第 2 组：WebShop，R=3。Table 3 给的平均值是 5.00 个里程碑/轨迹、1.11 个动作/里程碑。按 Table 3 的平均值相乘，每条轨迹约 5.00 × 1.11 = 5.55 个动作。
3 × 1 = 3.003 × 1.11 = 3.333 × (5.00 × 1.11) = 3 × 5.55 = 16.65页面 JS 用 toFixed(2) 输出同样两组值。这里的「动作级 / 任务级」不是论文的实验设置，而是本页为了比较粒度做的换算；论文实际检索的是任务级 top-2 和里程碑级 top-2。
这一节回答工程问题：库有多大、检索多深、每步要做什么、论文没有报告什么。
HiPlan 没有参数训练或微调。离线阶段只建库；执行阶段的 π 是同一个底层 LLM 的提示式决策。论文把里程碑指南生成、步进提示构造、最终动作预测都交给同一个模型。
表 3 · 里程碑库统计（原文 Table 3，完整转录）
| 指标 | ALFWorld | WebShop | 合计 Total |
|---|---|---|---|
| 专家演示数 Source demonstrations | 500 | 77 | 577 |
| 每条轨迹平均里程碑数 | 5.89 | 5.00 | 5.77 |
| 每个里程碑平均动作数 | 1.78 | 1.11 | 1.70 |
| 库记录总数 Total entries | 2,945 | 385 | 3,330 |
M=2；里程碑级 P=2。论文在 §C.2 说这两个值来自经验观察，与 in-context learning 常用的 2–3 个示例做法相符。论文给出了库的规模（3,330 条）和每步的算法流程，但没有报告每次 LLM 调用的 token 数、端到端延迟、检索延迟或 API 成本；也没有报告库规模扩大后的检索开销。
从 Algorithm 1 能看到每步至少有一次 hint 生成和一次动作决策（第 17–18 行）；论文没有说明这两次调用是否合并，也没有给出延迟数字。
上半部分是离线一次性构建，下半部分是执行时循环；图中数字来自 Table 3 与 §5.1。
覆盖：离线建库（专家演示 → GPT-4o 切分 → 向量化 → 里程碑库）与在线双层检索（任务级 top-2 → 里程碑指南；里程碑级 top-2 → 步进提示 → 动作）的主链路。
省略：原图中的示例任务轨迹、提示词模板、任务级长度重排和里程碑级轨迹去重的细节、one extra action 的前向上下文；这些在 §C 和 Appendix F 有文字/模板，图中只保留主链路。
图中数字来自 Table 3（577 / 3,330 / 2,945 / 385）；M=2 / P=2 的设置见 §C.1 与 §C.2。
先看两张主表，再看步数效率和消融；每个数字都带模型、基准和指标。
表 1 · ALFWorld 六类任务成功率（原文 Table 1；数值为成功率，0–1）
| 模型 | 方法 | Put | Examine | Clean | Heat | Cool | PutTwo | All |
|---|---|---|---|---|---|---|---|---|
| Mixtral-8x22b | REACT | 0.46 | 0.89 | 0.55 | 0.83 | 0.62 | 0.18 | 0.59 |
| REACT+Reflexion | 0.77 | 0.89 | 0.61 | 0.83 | 0.62 | 0.29 | 0.64 | |
| TRAD | 0.75 | 0.89 | 0.84 | 0.70 | 0.95 | 0.53 | 0.78 | |
| HiPlan | 0.92 | 0.94 | 0.84 | 0.87 | 0.71 | 0.59 | 0.82 | |
| LLaMA3.3-70b | REACT | 0.50 | 0.83 | 0.39 | 0.65 | 0.48 | 0.18 | 0.50 |
| REACT+Reflexion | 0.58 | 0.83 | 0.48 | 0.65 | 0.57 | 0.24 | 0.56 | |
| TRAD | 0.96 | 0.89 | 0.90 | 0.65 | 0.67 | 0.59 | 0.79 | |
| HiPlan | 1.00 | 1.00 | 0.97 | 0.91 | 0.90 | 0.82 | 0.94 |
ALFWorld 评测集为 134 个 out-of-distribution 任务（§5.1）；All 列为论文给出的整体成功率。
表 2 · WebShop 平均奖励与成功率（原文 Table 2；200 条测试指令）
| 模型 | 方法 | 平均奖励 Reward | 成功率 Success Rate |
|---|---|---|---|
| Mixtral-8x22b | REACT | 0.26 | 0.19 |
| REACT+Reflexion | 0.40 | 0.24 | |
| TRAD | 0.10 | 0.04 | |
| HiPlan | 0.50 | 0.36 | |
| LLaMA3.3-70b | REACT | 0.09 | 0.08 |
| REACT+Reflexion | 0.23 | 0.12 | |
| TRAD | 0.27 | 0.14 | |
| HiPlan | 0.58 | 0.40 |
LLaMA3.3-70B：HiPlan 的 All 为 0.94，TRAD 0.79，REACT 0.50。按 All 列算，HiPlan 比 TRAD 高 15 个百分点（94 − 79），比 REACT 高 44 个百分点（94 − 50）。
Mixtral-8x22B：HiPlan 0.82，TRAD 0.78，REACT 0.59；比 TRAD 高 4 个百分点（82 − 78），比 REACT 高 23 个百分点（82 − 59）。
原文 §5.2 把这组范围写成 “absolute gains ranging from 4% to 23% points for Mixtral and 15% to 44% points for LLaMA”。按 Table 1 的 All 列复算，4/23 和 15/44 都是相对不同基线的点差（最强基线 TRAD / 最弱基线 REACT），不是相对提升百分比。
§5.2 原文：“HiPlan achieves the highest success rates across all task categories…”
Table 1 的 Mixtral 块：Cool 列 HiPlan 0.71、TRAD 0.95，HiPlan 低 24 个百分点（95 − 71）；Clean 列 HiPlan 0.84、TRAD 0.84。两处并列呈现，读者可自行对照。
LLaMA 块：HiPlan 成功率 0.40，TRAD 0.14，REACT 0.08；HiPlan 比 TRAD 高 26 个百分点（40 − 14），比 REACT 高 32 个百分点（40 − 8）。
Mixtral 块：HiPlan 0.36，REACT 0.19，TRAD 0.04；HiPlan 比 REACT 高 17 个百分点（36 − 19），比 TRAD 高 32 个百分点（36 − 4）。TRAD 在同一模型、同一基准上低于 REACT 和 REACT+Reflexion。
论文的解释是：WebShop 里直接给低层动作示范，可能引入显著噪声，模型在 40 步内买不到目标商品；这也说明 TRAD 对任务形态敏感。
LLaMA 块：HiPlan 平均奖励 0.58，TRAD 0.27，差 0.31。Mixtral 块：HiPlan 0.50，最高的基线是 REACT+Reflexion 0.40，差 0.10；TRAD 只有 0.10。
论文的解释：奖励衡量购买商品与需求的属性匹配度；即使没买到完全正确的商品，HiPlan 也更可能选中满足约束的替代品。
原文 §A 报告：平均步数在 ALFWorld 减少 28%，在 WebShop 减少 37%。按 Figure 5 的转录数字分模型看：LLaMA 上，ALFWorld 比 REACT / Reflexion / TRAD 分别少 51.3% / 40.6% / 24.5%，WebShop 分别少 55.0% / 41.0% / 41.6%；Mixtral 上，ALFWorld 为 29.6% / 18.9% / 0.5%，WebShop 为 38.8% / 8.9% / 38.3%。§A 的「最多」没有注明模型；照抄成通用结论会与 Figure 5 的 Mixtral 数字冲突。
原文 §A / Figure 5 · 平均完成步数（数字转录；越小越好）
| 方法 | ALFWorld LLaMA | ALFWorld Mixtral | WebShop LLaMA | WebShop Mixtral |
|---|---|---|---|---|
| HiPlan | 15.1 | 19.7 | 17.0 | 20.5 |
| REACT | 31.0 | 28.0 | 37.8 | 33.5 |
| Reflexion | 25.4 | 24.3 | 28.8 | 22.5 |
| TRAD | 20.0 | 19.8 | 29.1 | 33.2 |
按 Figure 5 的六项相对降幅取算术平均：ALFWorld 为 27.6%（论文写 28%），WebShop 为 37.3%（论文写 37%）。例如 ALFWorld 的 LLaMA 从 REACT 的 31.0 步降到 15.1 步，降幅 (31.0 − 15.1) / 31.0 = 51.3%。
原文 §A / Figure 5 · 步数相对降幅（由转录数字计算）
| 对比 | ALFWorld LLaMA | ALFWorld Mixtral | WebShop LLaMA | WebShop Mixtral |
|---|---|---|---|---|
| vs REACT | 51.3% | 29.6% | 55.0% | 38.8% |
| vs Reflexion | 40.6% | 18.9% | 41.0% | 8.9% |
| vs TRAD | 24.5% | 0.5% | 41.6% | 38.3% |
每格 = (基线步数 − HiPlan 步数) / 基线步数 × 100。ALFWorld 六格平均 (51.3 + 40.6 + 24.5 + 29.6 + 18.9 + 0.5) / 6 = 27.6%；WebShop 六格平均 (55.0 + 41.0 + 41.6 + 38.8 + 8.9 + 38.3) / 6 = 37.3%。论文把这两个值分别写成 28% 和 37%。
口径提醒：28%/37% 原文只写 “on average”；按 Figure 5 转录数字复算，它们是六项相对降幅的算术平均（27.6% / 37.3%），不是「相对某个单一基线」的降幅。§A 还写 “compared to Reflexion”，而 Table 1/2 的方法列是 “REACT+Reflexion”；两处命名并列呈现。
三个变体：HiPlan-Direct（去掉指南和提示）、HiPlan-Milestone（只留指南）、HiPlan-w/o milestone-level demonstrations（保留指南和提示，但提示不检索里程碑片段）。
原文 §5.3 / Figure 3 · 消融成功率（数字转录；数值为成功率 0–1）
| 变体 | ALFWorld Mixtral | ALFWorld LLaMA | WebShop Mixtral | WebShop LLaMA |
|---|---|---|---|---|
| HiPlan-Direct | 0.50 | 0.83 | 0.25 | 0.31 |
| HiPlan-Milestone | 0.52 | 0.89 | 0.27 | 0.33 |
| HiPlan-w/o milestone-level demonstrations | 0.66 | 0.90 | 0.32 | 0.34 |
| HiPlan | 0.82 | 0.94 | 0.36 | 0.40 |
原文 §5.3 报告：三个变体都低于完整版；并写 “the combination with step-wise hints yields substantial gains (11-32% points in ALFWorld, 9-11% points in WebShop)”。按 Figure 3 的转录数字复算，这两个区间对应的是 Direct → HiPlan：
94 − 83 = 11；Mixtral 82 − 50 = 32），WebShop 9–11 个百分点（LLaMA 40 − 31 = 9；Mixtral 36 − 25 = 11）。94 − 89 = 5；Mixtral 82 − 52 = 30），WebShop 7–9 个百分点（LLaMA 40 − 33 = 7；Mixtral 36 − 27 = 9）。所以，若把 “combination with step-wise hints” 理解为「在 Milestone 基础上只加 hints」，区间是 5–30 / 7–9；原文写出的 11–32 / 9–11 对应的是「Direct → 完整版」，即同时加入里程碑指南和 step-wise hints。两处并列呈现，读者可自行对照。
三个变体都低于完整版；HiPlan-w/o milestone-level demonstrations 在四个格子里也都低于 HiPlan（Figure 3）。原文没有给出逐项点差，本页不额外外推。
这一节列出论文自己报告的失败模式，以及论文没有回答的问题。
离线库来自 577 条成功演示（ALFWorld 500、WebShop 77）。论文假设能拿到这些演示；没有讨论演示稀少、质量差或新领域没有演示时怎么办。
这是方法的前提条件，不是实验结论。
切分和描述由 GPT-4o-2024-08-06 完成。论文没有报告切分错误率，也没有做切分质量的消融。
如果切分把不同子目标混在一起，库里的「里程碑」就不再是中等粒度。
Appendix D.1 的例子：任务 “put a cool tomato in the microwave”，agent 把番茄放进微波炉，但没有完成冷却步骤——尽管冷却在生成的里程碑指南里是明确的一步。论文归因于文本观测下很难判断物体状态是否真的改变。
“the agent moves the tomato into the microwave without successfully performing the cooling step—despite this being an explicitly defined milestone in the generated action guide.”
同一附录还列了两类 ALFWorld 错误：一是语义误识别，例如要找 “apple” 却反复找不到，最后拿成 “tomato”；二是低效重复探索，例如 “heat an egg and put it in the garbagecan” 任务里，超过 40 步反复开同一个冰箱、抽屉和不存在的 “diningtable 1”。
“over 40 steps were spent re-opening the same refrigerator, drawers, and non-existent objects like ‘diningtable 1’ before finally locating the egg in an unexpected container (the garbagecan itself).”
Appendix D.2 列了三类：规格漂移（忽略尺寸/材质/颜色，直接买默认款）、动作循环（点当前页面不存在的按钮）、信息利用不足（忽略搜索结果里已经出现的正确商品）。其中一个例子是用户明确要求 “6.76 fl oz”，agent 跳过选项选择，直接购买了默认规格。
“although the user explicitly requested a product with ‘6.76 fl oz’ volume, the agent skipped the option selection step and directly purchased the default variant.”
Gτ，执行中只更新里程碑索引 k，不重新生成指南。推断（依据：Algorithm 1 第 12–26 行；论文没有研究动态重规划）。“One promising direction is extending the framework to a broader range of tasks and domains to assess its generalizability and scalability. Additionally, we plan to investigate methods for summarizing and abstracting experience gained through step-wise hints, enabling effective cross-task knowledge transfer and improving adaptation in novel scenarios.”