打破学科壁垒！400篇参考文献重磅综述，统一调查「人脑×Agent」记忆系统

跨学科突破：神经科学如何让 Agent 拥有「人类式」记忆？

你是否想过 Agent 能像人类一样积累经验、不断成长？如今，这一愿景正加速走向现实。但是，现有研究要么只聚焦 AI 技术本身，要么对人脑记忆机制的借鉴浮于表面，两个学科之间始终缺少真正的灵感碰撞。

哈工大、鹏城实验室、新加坡国立、复旦、北大联合发布了一篇重磅综述《AI Meets Brain: A Unified Survey on Memory System from Cognitive Neuroscience to Autonomous Agents》，首次打破认知神经科学与人工智能之间的学科壁垒，系统性地将人脑记忆机制与 Agents 记忆统一审视，为设计真正「类人」的 Agent 记忆系统奠定理论基石。

全文横跨认知神经科学与人工智能两大领域，涉猎相关文献共 400 篇。

• 论文链接：http://arxiv.org/abs/2512.23343
• Github 链接：https://github.com/AgentMemory/Huaman-Agent-Memory

什么是记忆？

综述重新定义了记忆。记忆不仅仅是数据的存储，它也是认知的纽带。综述从认知神经科学到 Agent 对记忆进行了剖析：

1.认知神经科学角度：连接过去与未来的桥梁

在人脑中，记忆不仅仅是回放信息，其本质是大脑存储和管理信息的过程。记忆是连接过去经验与未来决策的认知桥梁。它分为两个阶段：在第一阶段，当大脑获得新概念或遇到新事件时，它会快速形成特定的神经表征，同时整合和存储这些信息。在第二阶段，大脑对存储的表征进行操作，要么随着时间的推移巩固它们，要么根据类似的未来情况检索它们。

2.LLM 视角：三种形态的并存

对于大语言模型，记忆并非单一的存储结构，而是表现为三种形式：

• 参数记忆（Parametric Memory）：内化在神经网络权重中的知识，对应人类的抽象长期记忆。
• 工作记忆（Working Memory）：基于上下文窗口，负责实时推理。
• 显式外部记忆（Explicit External Memory）： RAG 是典型代表，通过解耦计算与存储，使 LLM 从「知识库」变为「知识调度器」。

3.Agent 视角：从存储到认知的跃迁

Agent 的记忆超越了 LLM 的简单存储，它是一个动态的认知架构，该综述选择沿着三个核心维度解构记忆：

• 结构化存储：旨在将非结构化自然语言交互转换为易于机器索引和理解的有效格式。
• 动态调度：解决了有限的注意力资源和大量记忆存储之间的冲突，模拟了人脑的遗忘与唤醒机制。
• 认知进化：Agent 必须深入反思、抽象和重组记忆内容，从而推动其行为策略的持续更新。

Agent Memory vs RAG：传统的 RAG 侧重于将 LLM 连接到静态的知识库进行查询，而 Agent Memory 是嵌入在 Agent 与其环境之间的动态交互过程中，不断地将 Agent 操作和环境反馈生成的信息合并到记忆容器中。

记忆有何用？

在认知神经科学中，记忆构成了大脑编码、存储和检索信息的神经过程，使个体能够保留过去的经验并利用它们来指导正在进行的行为并为未来的决策提供信息。

在 LLM 驱动的 Agent 中，模型原生的无状态性与复杂、长期任务所需的连续性需求之间存在着天然的鸿沟。因此，记忆超越了其作为桥接历史交互的被动存储库的角色，而是充当 Agent 认知架构中的关键主动组件。因此，给 Agent 装上记忆系统，并非只是为了记住，而是为了实现三大核心作用：

图 1. 记忆通过减轻上下文窗口限制、实现长期个性化以及驱动基于经验的推理来扩展 Agent 的能力。

1.突破上下文窗口的限制：

• 启发式上下文设计：通过设计启发式规则来管理记忆。
• 自主记忆优化：让 Agent 把记忆管理提升为可学习的内在能力。

2.构建长期个性化画像：

• 画像构建： Agent 能从碎片化的历史对话中，提炼出你的核心特质和信息。它不仅会记录发生了什么，还会定期反思，推测你话语背后的潜在动机，从而在脑海中建立一个个性化档案。
• 偏好对齐执行：当 Agent 替你执行任务时，记忆库会充当隐形指挥棒。不需要反复叮嘱，它会自动调用记忆中的偏好约束决策。

3.驱动基于经验的推理：

• 战略指导：检索历史上相似的成功案例或从中提炼的高层经验，指导当前的决策，避免重蹈覆辙。
• 程序固化：将成功的推理过程转化为可复用的技能或可执行的结构。

记忆的分类学

在谈论 Agent 记忆的分类之前，综述首先梳理了认知神经科学对记忆的经典定义。人脑的记忆并不是一个单一的黑盒，而是一个分工明确的复杂系统。

1.基于认知神经科学的分类：

记忆的概念最初源于认知神经科学，它被广泛地定义为大脑存储和管理信息的认知过程，允许在原始刺激或事件不再存在后访问和使用这些信息，通常分为短期记忆和长期记忆。

• 短期记忆（Short-term Memory）：

• 定义：大脑的临时工作台。它负责在极短的时间窗口（约 15～20 秒）内维持和处理信息。
• 特征：容量非常有限（通常只能容纳 4～9 个单位的信息）。

• 长期记忆（Long-term Memory）：

• 定义：大脑的永久档案馆。它可以存储从几分钟到几十年的信息。
• 特征：没有严格的容量限制，且结构高度组织化。

• 长期记忆可继续分为情景记忆和语义记忆：

1. 情景记忆（Episodic Memory）：指对个人亲身经历过的特定事件的记忆。此类记忆通常不仅包括有关事件本身的详细信息，还包括其时间和空间背景，即事件发生的时间和地点。
2. 语义记忆（Semantic Memory）：指对所学事实知识、概念和规则的记忆。这些记忆与获取的特定时间和地点无关，并且它们的检索并不伴随着对过去特定事件的生动重新体验。

2.Agent 的双维度记忆分类

综述中指出，连贯的记忆分类对于系统地理解和设计 Agent 系统中的记忆机制至关重要。为了适应复杂的自主任务，综述提出了一套双维度的分类法。

图 2. (a) 基于性质的分类法，根据编码的信息类型对记忆进行分类。 (b) 基于范围的分类，根据记忆的应用范围来区分。

（1）.基于「性质」的分类（Nature-based）

这是直接对齐人脑「情景和语义」的分类方式，决定了 Agent 在推理时使用的是「经验」还是「知识」。

• 情景记忆（Episodic Memory）：

• 定义：任务式数据库
• 存储内容：完整的交互轨迹（Trajectory）
• 核心作用：提供过程性知识，即「How to」

• 语义记忆（Semantic Memory）：

• 定义：存储 Agent 的知识库
• 存储内容：事实、概念、规则和常识
• 核心作用：提供陈述性知识，即「What-is」

（2）.基于「范围」的分类 (Scope-based)

这是基于记忆在任务流中的生命周期和适用范围进行的划分。

• 轨迹内记忆（Inside-trail Memory）：

• 定义：临时工作区
• 存储内容：当前任务的中间步骤、临时变量和即时的观察结果
• 作用域：仅在当前任务或会话中有效
• 特点：用完即走。当情景结束时，该记忆通常会被清除或重置

• 跨轨迹记忆（Cross-trail Memory）：

• 定义：永久存储库
• 存储内容：可概括的模式、学习的策略、可重用的知识
• 作用域：跨越多个任务、多个对话，甚至跨越 Agent 的整个生命周期
• 核心作用：提供陈述性知识，即「What-is」

记忆的存储机制

记忆存储的关键在于记忆的存储位置和记忆的存储形式。

1.认知神经科学中的记忆存储

在人脑中，记忆存储是一个跨脑区的动态协作过程。

• 短期记忆

• 存储位置：分布在感觉皮层和额顶网络（Sensory-frontoparietal network）。
• 机制：感觉皮层保留细节，额顶网络支持跨模式表示，允许不同通道信息在共享表示空间中链接和操作。
• 存储形式：

1. 持续活动（Persistent activity）：保持高水平的放电活动
2. 活动 - 沉默突触连接（Synaptic connection weights）：仍可能有用的项目可以默默存储并在需要时重新激活

• 长期记忆

• 存储位置：海马体（Hippocampus） + 新皮层（Neocortex）。
• 机制：海马体不是仓库，而是索引。新机制先在海马体暂存，通过系统巩固，慢慢转移到新皮层这个永久仓库中。
• 存储形式：

1. 事件单元（Event-based unit）：把连续的生活切片成一个个独立的事件包。
2. 认知地图（Cognitive map）：人脑把概念和知识也画成了地图，通过认知距离表示关系的远近。

图 3. 认知神经科学中的记忆存储机制概述，包括短期和长期记忆的存储位置和存储格式。

2.Agent 中的记忆存储

不同于人脑浑然天成的神经网络，Agent 的记忆系统是显式的工程构建。不仅要解决存在哪的物理限制，还要在怎么存上进行复杂的数据结构选型，以在计算成本和推理能力之间寻找最优解。

• 存储位置

• 上下文窗口（Context Window）：对应轨迹内记忆。主要存放当前的对话流。
• 记忆库（Memory Bank）：对应跨轨迹记忆。外挂的存储库，容量近似无限。

• 存储形式

• 文本（Text）：自然语言形式，比较直观
• 图结构（Graph）：实体和关系组成的结构化网络，支持关系提取和模式发现，能够识别节点之间的隐式链接，从而辅助复杂的逻辑信息查询
• 参数（Parameters）：模型权重，通过训练内化记忆
• 隐式表示（Latent Representation）：高维向量，检索速度快

记忆的管理系统

记忆不是一个静态的仓库，而是一条奔流不息的河流。在人类大脑中，记忆通过海马体的重播和新皮层的巩固，不断被重写和重构。而在 Agent 中，记忆管理则是提取（Extraction）、更新（Updating）、检索（Retrieval）、应用（Application）的精密闭环。

1.认知神经科学：大脑的动态循环

人脑的记忆管理不是简单的「写入」和「读取」，而是一个充满可塑性的动态过程。

图 4. 认知神经科学中的记忆管理概述。该框架阐释了信息处理的动态循环，包括记忆形成、更新和检索，通过这个循环，长期记忆支持对外部环境的灵活适应。

• 记忆形成（Memory Formation）

记忆并非一蹴而就，它经历了三个阶段：

• 编码（Encoding）：海马体将新皮层内分布的感觉特征结合成统一的表征，并选择性地调节其与感觉皮层的相互作用，以放大未来高效用的表征。
• 巩固（Consolidation）：在清醒休息或睡眠等离线状态下，海马体通过重播，不断与新皮层同步活动，重新组织和调整新信息，使其稳定下来。
• 整合（Integration）：通过海马体与内侧前额叶皮层的协作，将巩固的记忆痕迹转化为有组织的关联知识，并最终将其重新分配至新皮层以实现持久的抽象存储。

• 记忆更新（Memory Updating）

大脑如何修正错误的记忆？

• 机制：预测误差（Prediction Error）是核心驱动力。当发现现实与记忆不符，大脑就会触发更新机制。
• 策略：分化是为相似的新旧事件建立互斥的神经表征，防止混淆。整合是将新旧知识与预测误差整合为一体。

• 记忆检索（Memory Retrieval）

检索即重构。

• 重构性：回忆不是回放录像，而是根据线索（Cue）利用海马体进行模式完成（Pattern Completion），重新构建当时的场景。
• 再巩固（Reconsolidation）：每当回忆一次，这段记忆就会变得不稳定，容易被修改或增强。这也解释了为什么 “常回忆” 能加深记忆，但也可能会植入虚假细节。

2.Agent 记忆管理：记忆管理的精密闭环

与在受限窗口内执行瞬态处理的标准大语言模型不同，Agent 通过显式管理机制实现体验的持久调节。

图 5. Agent 中记忆管理的概述。该框架形成了一个由记忆提取、更新、检索和利用组成的闭环管道，从而实现持久的经验调节和长期推理。

• 记忆提取（Memory Extraction）
  

Agent 不能把所有 Log 都存下来，它需要提炼：

• 扁平提取（Flat）：直接将原始信息记录到存储中或应用摘要和分段等轻量级预处理。
• 分层提取（Hierarchical）：通过多粒度抽象机制将碎片化信息组织成层次结构，旨在模拟人类在宏观背景和微观细节之间灵活切换的认知能力。
• 生成式提取（Generative）：旨在在推理过程中动态重建上下文，从而缓解因过大上下文长度带来的计算开销和注意力稀释问题。

• 记忆更新（Memory Updating）
  

遗忘是为了更好地记住，更新机制分为两层：

• 轨迹内更新（Inside-Trial）：针对上下文窗口，像人类选择性注意一样，实时过滤无关噪声，或在窗口快满时触发摘要工具，腾出工具。
• 跨轨迹更新（Cross-Trial）：针对外部记忆库，引入遗忘机制，自动剔除低价值或长时间未访问的记忆节点。

• 记忆检索（Memory Retrieval）
  

不仅仅是 Embedding 的相似度，主要分为两种：

• 基于相似度（Similarity-based）：计算余弦相似度，找 Top-k，但相当于只懂字面意思，不懂逻辑结构。
• 多因素检索（Multi-factor）：根据时间、重要性、相关性，结构效率和预期奖励等因素确定记忆优先级

• 记忆应用（Memory Application）

记忆怎么用，主要有两种作用：

• 上下文利用（Context Utilization）：将记忆视为被动参考的传统检索增强生成范式。
• 参数内化（Parameter Internalization）：该范式借鉴终身学习将显性记忆转化为隐性参数。

Agent 记忆系统评测

综述将现有的 Benchmark 分为了两类：

• 面向语义（Semantic-oriented）：重点关注 Agent 如何构建、维护和利用其内部记忆中的信息状态。
• 面向情景（Episodic-oriented）：旨在评估复杂下游应用场景（使用外部工具完成任务）中 Agent 上记忆系统的实际性能增益。

表 1. 面向语义的基准

表 2. 面向情景的基准

Agent 记忆的安全

1. 攻击

随着 Agent 被部署在长期任务中，记忆成为了攻击。其主要的攻击方式分为两类：

• 窃取攻击（Extraction-based Attack）：把隐私「套」出来，攻击者的目标是 “偷数据”，其手段是利用精心设计的 Prompt 诱导 Agent。例如，黑客可能伪装成系统管理员，套取 Agent 长期记忆中存储的用户敏感信息。
• 投毒攻击（Poisoning-based Attack）：把思想「改变」，攻击者的目标是「坏脑子」。首先第一种是后门植入：向记忆库中注入带有「触发器」的恶意数据，平时 Agent 表现正常，一旦遇到特定的指令，就会触发恶意行为。其次是注入大量噪声或偏见数据的认知污染：让 Agent 的判断力退化，变得糊涂或产生严重的价值观偏差。

2. 防御

面对这些威胁，综述提出了有三道防线，构筑起从源头到输出的闭环防御体系。

• 检索防御（Retrieval-based）：在 Agent 读取记忆之前进行清洗。例如，通过多路检索验证一致性。
• 响应防御（Response-based）：在 Agent 生成回答时进行监控。通过引入审查机制或利用自我反思机制，在输出前预测潜在后果，拦截包含恶意意图的响应。
• 隐私防御（Privacy-based）：在底层存储上做文章。将记忆分为「公有」和「私有」区域，对敏感数据进行匿名化处理，确保了 Agent 在协作时只传递必要信息，不泄露核心隐私。

未来展望

1.多模态记忆

未来的 Agent Memory 需要打破模态的界限。目前的 Agent 在面对视频、音频等非结构化数据时，往往采用「暴力压缩」或「转写为文字」的方式，这会导致大量丰富的视觉细节（如微表情、光影变化）和听觉情感在转换中丢失。未来的记忆系统应该是全模态 (Omni-modal) 的，不仅存文本，还存储压缩后的视觉 / 听觉特征向量，其终极目标是使 Agent 不仅能「读」懂，还能「看」见，真正理解物理世界。

2.Agent Skills

现在的 Agent memory 往往是孤立。训练好一个专为写代码的 Agent，它的经验（记忆）很难直接传给另一个专为数学的 Agent，这导致了严重的重复造轮子。

这是因为不同的 Agent 之间的异构性，导致记忆接口的不一致，因此记忆很难直接移植重用。论文借用了 Anthropic 提出的「Agent Skills」概念，即 Agent 将指令集、可执行脚本和相关资源封装到结构化目录单元中。这就好比游戏里的「装备」或「技能书」可以在不同玩家间重复使用。

综述提出两个可能的未来研究方向：

• 多模态信息的统一存储与表示：当前的记忆系统主要是为文本形式设计的。如何构建支持多模态信息的统一存储框架，包括文本、图像、音频和视频，同时设计跨模态检索和推理机制，是支持跨模态 skills 迁移的关键。
• 跨 Agent 的 skills 转移和适应机制：不同的 Agent 结构，例如那些建立在不同基础模型上的 Agent，表现出差异在能力特征和接口规范方面。设计通用的 skills 描述语言，使 skills 能够无缝地转移并且跨异构代理的重用构成了实现真实代理的关键挑战 skill-sharing 生态系统。

文章来自于微信公众号 “机器之心”，作者 “机器之心”