# Memp：Exploring Agent Procedural Memory

改进了agent中的记忆模块

---
![image.png](https://cdn.jsdelivr.net/gh/vllbc/img4blog//image/20250815213254.png)
![image.png](https://cdn.jsdelivr.net/gh/vllbc/img4blog//image/20250815213307.png)

### 论文深度解读

这篇发表于2025年8月的论文，聚焦于为基于LLM的Agent赋予一种**程序化记忆（Procedural Memory）**。这个概念源于认知科学，指的是我们“如何做某事”的记忆，例如骑自行车或打字，一旦学会便可自动执行，无需有意识地思考每一步。作者将此概念巧妙地迁移到AI Agent领域，旨在解决一个普遍存在的问题：尽管LLM Agent在处理多样化任务上表现出色，但它们往往缺乏从经验中学习并形成稳定“技能”的能力。每当遇到一个新任务，即使与之前的任务高度相似，它们也常常需要从头开始探索，导致效率低下和成功率不稳定。

论文的核心贡献在于提出了一个名为 **Memp** 的统一框架。这个框架不仅仅是简单地存储过去的成功案例，而是将程序化记忆视为一个**可学习、可更新、可演进的生命体**。它将Agent过去的交互轨迹（trajectories）提炼为两种形式的记忆：一种是细粒度的、具体的**步骤指令（step-by-step instructions）**，另一种是更高级别的、抽象的**脚本（script-like abstractions）**。

Memp框架的精髓体现在其三大核心模块：**构建（Build）、检索（Retrieve）和更新（Update）**，这构成了一个完整的记忆生命周期闭环，正如论文图2所示。

> **图2解读**: 这个流程图是论文方法论的核心。
> *   **Build**: Agent执行任务后，其行动轨迹（无论好坏）被送入记忆存储库。成功的轨迹（Golden Trajectory）被提炼并存储为程序化记忆（P Mem）。
> *   **Retrieve**: 当遇到新任务时，检索器（Retriever）从记忆库中找到最相关的记忆。
> *   **Update**: 这一步是关键的创新。系统不仅仅是简单地添加新记忆。如果一个被检索出的记忆在新任务中导致了失败（P Mem Error），系统会进入一个修正流程（Update），将错误的经验与原有记忆结合进行“反思”和“修正”，生成一个更正后的记忆（Corrected P Mem）。同时，成功的经验也会被添加进去。这个动态的更新机制确保了记忆库随经验增长而持续优化。



论文通过在两个截然不同的基准测试——`ALFWorld`（模拟家居环境中的实体任务）和`TravelPlanner`（基于工具的复杂信息规划任务）——上的大量实验，系统性地验证了Memp框架的有效性。实验结果令人信服地展示了，随着记忆库的不断迭代和优化，Agent在解决同类任务时的**成功率显著提升**，同时**完成任务所需的步骤数（即效率）也大幅降低**。

一个尤为亮眼的发现是程序化记忆的**可迁移性（transferability）**。论文展示了由一个强大的前沿模型（如GPT-4o）生成的程序化记忆库，可以直接迁移给一个能力较弱的开源模型（如Qwen2.5-14B），并显著提升后者的性能。这为如何利用顶级模型的“智慧”来赋能和提升整个开源模型生态提供了一条极具价值的实践路径。

总而言之，这篇论文不仅仅是提出了一个技术方案，更是为如何构建能够**持续自我完善（continual learning）**和**泛化（generalization）**的智能代理提供了一个清晰、系统且可操作的范式。它将“记忆”从一个被动存储的“数据”，提升到了一个主动优化和演进的“核心组件”的战略高度。

接下来，我将按照您的要求，对六个具体问题进行详细解读。

***

### 1. 论文的研究目标是什么？想要解决什么实际问题？这个问题对于行业发展有什么重要意义?

*   **研究目标**: 论文的核心研究目标是探索如何为LLM Agent构建一个有效的**程序化记忆（Procedural Memory）**系统，使其能够从过去的经验中学习、提炼并复用解决问题的流程和技能。

*   **解决的实际问题**:
    1.  **脆性（Brittle）和低效**: 当前的LLM Agent在执行复杂、长周期的任务时，其“记忆”要么是人工硬编码的提示模板，要么是固化在模型参数中，难以更新。这导致它们非常“脆”，一旦外部环境（如UI变化、数据格式改变）或任务细节稍有不同，就容易失败。而且，对于相似的任务，它们无法利用过往经验，每次都从零开始“试错”，极大地浪费了计算资源（tokens）和时间。论文中提到：
        > Restarting from scratch every time is a punishing ordeal for present-day agents.
    2.  **缺乏持续学习能力**: 理想的Agent应该像人一样，越做越熟练。但现有Agent大多是“一次性”的，缺乏一个将单次任务经验转化为长期能力的机制。这篇论文正是要解决这个问题，让Agent能够实现持续的、近乎线性的任务掌握过程。

*   **行业意义**:
    1.  **推动Agent从“工具”向“伙伴”演进**: 具备程序化记忆的Agent，能够学习并适应特定的工作流，从而可以从一个通用的“瑞士军刀”变成一个懂你需求的“私人助理”或“专业同事”。这对于企业自动化、个人生产力工具等领域意义重大。
    2.  **提升Agent的经济性和实用性**: 通过减少不必要的探索和失败，Memp这类框架能显著降低Agent运行的成本（token消耗）和时间，这使得在真实世界中大规模部署LLM Agent变得更加经济可行。
    3.  **为通用人工智能（AGI）铺路**: 持续学习和经验泛化是通往更高级别人工智能的关键一步。这项研究为机器如何从具体实例中提炼出抽象规则，并不断自我完善，提供了一个重要的实践范例。特别是记忆的迁移能力，展示了“知识”可以在不同“大脑”（模型）间传递的可能性。

***

### 2. 论文提出了哪些新的思路、方法或模型？跟之前的方法相比有什么特点和优势？

论文的核心创新是系统性的 **Memp 框架**，其特点和优势体现在对记忆生命周期（构建、检索、更新）的全面设计上。

*   **新的思路和方法**:
    1.  **记忆的二元化构建 (Build)**: 论文没有简单地存储原始轨迹，而是探索了两种互补的记忆形式：
        *   **Trajectory (轨迹)**: 完整的、成功的交互记录。这像是具体的“案例”，提供了详尽的上下文和操作细节。
        *   **Script (脚本)**: 从轨迹中提炼出的高级、抽象的计划或摘要。这像是“原则”或“SOP”，泛化能力更强。
        *   **Proceduralization (程序化)**: 这是论文推荐的最佳策略，**将具体的轨迹和抽象的脚本相结合**。这既能提供宏观指导，又有具体的例子可供参考，鲁棒性最强。

    2.  **精细化的检索 (Retrieve)**: 论文对比了不同的检索策略，从简单的随机抽样到基于语义的向量检索。其中，**AveFact** 策略最具巧思：它先用一个大模型从任务查询中提取出**核心关键词（keywords）**，然后计算这些关键词向量与记忆库中对应项的平均相似度。这比直接对整个查询句子做向量检索更聚焦、更准确。

    3.  **动态的记忆更新 (Update)**: 这是相比以往工作最突出的优势。论文设计了三种更新机制：
        *   `Vanilla Memory Update`: 简单地追加所有新任务的轨迹。
        *   `Validation`: 只追加成功的轨迹。
        *   **`Adjustment` (调整/反思)**: 当从记忆库中检索出的“旧知识”导致任务失败时，该机制会**将失败的轨迹与旧知识结合，让LLM进行反思和修正，生成一个更新后的、更准确的记忆**。这是一个强大的“从错误中学习”的闭环。

*   **与之前方法的比较和优势**:
    *   **超越静态记忆框架**: 像`AutoGPT`或`LangGraph`等早期框架，虽然也有记忆模块，但它们的记忆通常是临时的、基于单次任务的，或者更新机制非常简单（如仅追加成功案例）。Memp的`Adjustment`机制让记忆库具备了**自我修正和演进**的能力。
    *   **系统性的量化分析**: 之前的研究多是提出某个单一的记忆技巧。而本文对Build, Retrieve, Update的各个环节，都设计了不同的策略并进行了**量化对比实验（Ablation Study）**，系统性地分析了哪种组合最优。这使得其结论更具说服力和指导意义。
    *   **明确了记忆的价值**: 论文不仅证明了记忆“有用”，还通过实验量化了它的价值。例如，图5的案例直观地展示了使用记忆后，任务步骤从27步（失败）减少到14步（成功），Token消耗节省了超过1000个。

> **图5案例解读**: 在“加热鸡蛋并放入垃圾桶”这个任务中：
> *   **无记忆**: Agent会进行大量无效探索，比如尝试用烤面包机（toaster）或炉子（stoveburner）加热鸡蛋，最终失败。
> *   **有记忆**: 记忆直接提示“去冰箱拿鸡蛋，然后用微波炉加热”，Agent直接执行了最优路径，既快又准。

![](https://storage.googleapis.com/static.aurelle.ai/c42b10a2-25de-4d30-b97c-01f6087da342.png)

***

### 3. 论文通过什么实验来验证所提出方法的有效性？实验是如何设计的？实验数据和结果如何？

论文的实验设计非常严谨和全面，覆盖了不同的任务领域、模型和评价维度。

*   **实验设计**:
    1.  **基准（Datasets）**: 选用了`ALFWorld`和`TravelPlanner`。前者是**实体交互**任务，考验Agent对环境的理解和操作序列的正确性；后者是**信息规划**任务，考验Agent使用工具和处理复杂逻辑约束的能力。这种多样性确保了结论的泛化性。
    2.  **模型（Backbones）**: 采用了业界领先的闭源模型`GPT-4o`、`Claude-3.5-sonnet`和强大的开源模型`Qwen2.5-72B`。这既验证了方法在SOTA模型上的有效性，也证明了其在开源生态中的适用性。
    3.  **对比实验（Ablation Studies）**：论文系统性地对 **Build**, **Retrieve**, **Update** 三个模块的不同策略进行了“控制变量”实验，以找到最优组合。
        *   **Build 策略对比**: 比较`No Memory`, `Script`, `Trajectory`, `Proceduralization`四种构建方式的效果。
        *   **Retrieve 策略对比**: 比较`Random Sample`, `Key=Query`, `Key=AveFact`三种检索方式的效果。
        *   **Update 策略对比**: 比较`Vanilla`, `Validation`, `Adjustment`三种更新方式带来的长期性能演进。

*   **关键实验数据和结果**:
    *   **Build策略有效性**: 在`ALFWorld`测试集上，使用`GPT-4o`模型，**`Proceduralization`** 策略的成功率达到了 **77.86%**，远高于基线`No Memory`的 **42.14%**。同时，任务平均步数从23.76步降至**15.01步**，效率大幅提升。（数据来源：Table 1）
    *   **Retrieve策略有效性**: 在`TravelPlanner`基准上，**`Key=AveFact`** 检索策略在常识约束（#CS）上的得分为 **76.02**，优于`Key=Query`的73.38和基线的71.93。（数据来源：Table 2）
    *   **Update策略的优越性**: 如图3所示，随着任务组的推进，**`Adjustment`** 策略带来的**奖励增益（Reward Gain）和步数减少（Steps Reduction）** 持续领先于其他策略。在最后一个任务组，其优势尤为明显，这证明了从错误中学习的强大能力。

    > **图3解读**: 该图展示了Agent在完成一组组任务后性能的演进。横轴是任务组的序号，纵轴是相比“无记忆”基线的性能提升。可以看到，绿色的“Adjustment”线始终在最上方（奖励更高）和最下方（步数减少更多），表明其学习效率最高。

    ![](https://storage.googleapis.com/static.aurelle.ai/c97b8146-24ba-4933-91b6-d2542a353634.png)

    *   **记忆的可迁移性**: 论文的一个亮点实验。当把`GPT-4o`生成的记忆库给`Qwen2.5-14B`使用时，后者在`TravelPlanner`任务上的完成率**提升了5%**，平均步数**减少了1.6步**。这有力地证明了程序化记忆作为一种“知识”，是可以在不同模型间传递和复用的。（数据来源：Figure 4(a)）

***

### 4. 结合大模型领域的当前学术理解，未来在该研究方向上还有哪些值得进一步探索的问题和挑战？

这篇论文为程序化记忆研究打开了大门，但仍有许多激动人心的方向值得探索。

*   **论文中提及的未来方向**:
    1.  **更丰富的检索策略**: 目前主要依赖向量相似度。未来可以融合传统信息检索方法，如**BM25**（一种基于关键词匹配的算法），实现更精准的混合检索。
    2.  **LLM作为奖励模型/裁判**: 在很多现实场景中，任务没有明确的成功/失败信号。论文提出可以**利用一个强大的LLM作为“裁判”**来评估任务完成度，从而为记忆的`Validation`和`Adjustment`提供反馈信号。这与当前热门的**RLAIF (Reinforcement Learning from AI Feedback)** 不谋而合。

*   **我补充的未来挑战与机遇**:
    1.  **记忆的遗忘与剪枝 (Forgetting and Pruning)**: 随着经验积累，记忆库会越来越庞大。如何设计一个高效的“遗忘”机制，自动识别并清除过时的、低价值的或冗余的记忆，是维持系统长期高效运行的关键。
    2.  **层级化与组合式记忆 (Hierarchical & Composable Memory)**: 对于极其复杂的任务（如“策划并执行一场市场活动”），可能需要层级化的记忆结构。比如，一个顶层记忆调用多个子流程的记忆（“写宣传文案”、“联系场地”、“发邀请函”）。如何让记忆能够被灵活地组合和调用，是一个巨大的挑战和机遇。
    3.  **环境剧变下的记忆适应性**: 论文的实验环境相对稳定。如果现实世界发生剧变（如网站大规模改版、API接口完全重写），当前的`Adjustment`机制可能不足以应对。需要研究更鲁棒的机制来处理这种**概念漂移（Concept Drift）**。
    4.  **多Agent间的记忆共享与协作**: 在一个组织中，多个Agent能否共享一个中央记忆库？一个Agent学习到的技能如何高效地传递给其他Agent？这会催生**协作型学习Agent**，带来组织级别的效率提升。
    5.  **技术与投资机会**:
        *   **企业级自动化平台**: 提供能学习和适应企业内部SOP的Agent服务。
        *   **自适应机器人**: 尤其在工业和服务机器人领域，能通过示教和自我试错不断学习新技能。
        *   **下一代AI原生应用**: 应用不再是固定的，而是能根据用户的使用习惯，动态生成和优化交互流程。

***

### 5. 退一步，从批判的视角看，这篇论文还存在哪些不足及缺失？

尽管这篇论文非常出色，但从批判性的角度审视，仍存在一些潜在的局限和待验证的问题。

*   **可扩展性问题 (Scalability)**: 实验是在精心设计的基准上进行的，记忆库的规模相对可控。当记忆库包含成千上万条程序时，**检索的效率和准确性**是否会下降？`Adjustment`过程需要调用LLM进行修正，当需要修正的记忆很多时，其**成本和延迟**是否会变得无法接受？Figure 4(b)也暗示了检索过多记忆可能导致性能下降，这个问题值得深究。
*   **“调整”过程的可靠性**: `Adjustment`机制是论文的一大亮点，但也可能是一个弱点。它依赖LLM能够理解失败原因并给出正确的修正。**如果LLM的“反思”是错误的，反而可能“污染”记忆库**，让情况变得更糟。论文对这一修正过程本身的失败率和鲁棒性缺乏深入分析。
*   **泛化与过拟合的权衡**: 程序化记忆在提升相似任务效率的同时，也存在风险，即Agent可能**过拟合（overfit）**于过去的经验。当遇到一个表面相似但核心逻辑完全不同的新任务时，固有的记忆反而可能成为一种“思维定势”，阻碍Agent找到正确的解决方案。如何在这种“利用旧知识”和“探索新可能”之间取得最佳平衡（Exploitation vs. Exploration），是该领域永恒的难题。
*   **对高质量“黄金轨迹”的依赖**: 论文中的记忆构建很大程度上依赖于从训练集中筛选出的成功轨迹（gold trajectories）。在现实世界中，获取这样清晰、高质量的“教学材料”可能很困难。如何从大量混杂着成功、失败和噪音的原始交互数据中有效学习，是一个更具挑战性的问题。

***

### 6. 我希望从这篇论文中找一些拿来即用的创新想法，我应该从这篇论文中重点学什么？有哪些启发？

当然，这篇论文提供了许多可以直接借鉴的宝贵思想。

*   **重点学习与启发**:
    1.  **核心思想转变：将记忆视为生命体**: 最重要的启发是，不要把给Agent的“知识”或“提示”看作是静态的、一次性写入的东西。而应该把它设计成一个**动态的、可演进的系统**，建立起 **“经验->记忆->应用->反馈->修正”** 的完整闭环。这是构建自适应系统的核心。
    2.  **“原则+案例”的黄金组合**: 论文中效果最好的`Proceduralization`策略，即**抽象脚本（Script）+ 具体轨迹（Trajectory）**的结合，是一个极其强大且通用的模式。在设计任何形式的提示工程（Prompt Engineering）或Agent知识库时，都可以借鉴这个思想：既要给它高层次的原则性指导，也要给它一两个可供模仿的具体案例。
    3.  **从错误中学习的机制**: `Adjustment`机制是“点睛之笔”。它告诉我们，**失败的经验同样宝贵，甚至比成功的经验信息量更大**。在你的系统中，一定要设计一个机制来捕获失败案例，并利用它们来迭代和优化你的核心逻辑或知识库。
    4.  **迁移学习的价值**: 如果你同时使用多种模型，可以考虑用最强大的模型（如GPT-4o）来“生产”高质量的知识/记忆，然后将这些知识“赋能”给成本更低的模型来执行任务。这是一个非常实用的降本增效策略。

*   **需要补充的背景知识**:
    1.  **LLM Agent基本范式**: 了解**ReAct** (Reason + Act)、**Tool Use**等Agent构建的基本原理，知道Agent是如何与环境和工具交互的。
    2.  **马尔可夫决策过程 (Markov Decision Process, MDP)**: 论文用MDP来形式化定义Agent与环境的交互，了解其基本概念（State, Action, Reward, Policy）有助于理解论文的理论基础。
    3.  **向量数据库与语义检索**: 了解`Retrieve`模块背后的技术，如文本如何被编码成向量（Embedding），以及如何通过计算向量间的余弦相似度来找到最相关的内容。
    4.  **上下文学习 (In-Context Learning)**: 明白这篇论文的方法本质上是一种非常高级的“上下文学习”，它不是通过梯度下降来更新模型参数（Fine-tuning），而是通过在提示中动态构建和优化上下文来引导模型的行为。

希望这份详尽的解读能帮助您深入理解这篇优秀的论文，并从中获得有价值的启发。