字节 Seed 开源长线记忆多模态 Agent，像人一样能听会看

字节 Seed 发布全新多模态智能体框架——M3-Agent。

像人类一样能听会看、具备长期记忆，并且免费开源！？

M3-Agent 的亮点在于，它不仅能够处理实时的视觉和听觉输入，以构建和更新其长期记忆，还发展了语义记忆，能够随着时间的推移积累知识。

此外，为了评估多模态智能体中的记忆有效性和基于记忆的推理，来自字节 Seed、浙江大学和上海交通大学的研究团队还开发了一个新的长视频问答基准：M3-Bench，同样开源。

实验表明，通过强化学习训练的 M3-Agent 在多个基准测试中表现均显著优于基线模型（包括基于商业模型如 Gemini-1.5-Pro 和 GPT-4o 的智能体）。

一位热心网友总结了这篇论文的两个核心洞察：

以实体为中心的多模态记忆至关重要。M3-Agent 研究表明，通过在人脸、语音和文本中建立具有持久 ID 的长期结构化记忆，能够显著提升长视频内容的推理能力。

检索推理优于单次 RAG。训练一个 RL 策略来决定何时以及如何查询记忆会产生比盲目检索更强的结果。开发代理的开发者应该将检索视为一个迭代的推理循环，而不是一个一次性步骤。

详细内容及代码可见文末链接。

M3-Agent 框架

对于多模态智能体而言，达到像人类一样的智能水平根本上依赖于三种能力：

（1）通过多模态传感器持续感知世界；

（2）将经验存储在长期记忆中，并逐步构建关于环境的知识；

（3）基于积累的记忆进行推理，以指导其行动。

为实现这些目标，字节 Seed 团队提出了 M3-Agent，一个配备长期记忆的新型多模态代理框架。

它通过两个并行过程运作：记忆过程和控制过程。

记忆过程持续感知实时多模态输入以构建和更新长期记忆；控制过程则解释外部指令，对存储的记忆进行推理，并执行相应的任务。

在记忆过程中，M3-Agent 会实时处理输入的视频流，通过生成两种记忆类型来同时捕获细粒度细节和高级抽象信息，类似于人类认知系统：

事件记忆

记录视频中观察到的具体事件。例如，" 爱丽丝拿起咖啡说，‘早上没有这个我无法离开’ "，以及 " 爱丽丝将空瓶子扔进绿色的垃圾桶 "。

语义记忆

从片段中推导出一般知识。例如，" 爱丽丝喜欢早上喝咖啡 " 和 " 绿色的垃圾桶用于回收 "。

生成的记忆随后会被存入长期记忆库中，该库支持人脸、语音和文本知识等多模态信息存储。

此外，记忆以实体为中心的结构进行组织，例如与同一个人相关的信息（例如他们的脸、声音和相关知识）会以图的格式连接起来，随着智能体不断提取和整合语义记忆，这些关联关系会逐步建立完善。

在控制过程中，M3-Agent 利用其长期记忆进行推理并完成任务。

M3-Agent 并非使用单轮检索增强生成（RAG）将记忆加载到上下文中，而是采用强化学习来实现多轮推理和迭代记忆检索，能自主从不同维度（如事件或角色）的长期记忆中检索相关信息，从而提高任务成功率。

M3-Bench 基准

对于多模态智能体而言，记忆形成与在线视频理解密切相关，而在线视频理解是一项需要实时处理视频流并根据过去的观察做出决策的、具有挑战性的任务。

传统的长视频理解方法（例如在多模态模型中扩展上下文窗口或压缩视觉标记以增加时间覆盖范围）对于无限长的视频流来说，并不具备有效的扩展性。

为了提高可扩展性，基于记忆的方法引入了记忆模块来存储编码的视觉特征以供未来检索。这些架构适合在线视频处理，但它们面临一个基本限制：难以保持长期一致性。

由于它们只存储视觉特征，这些方法难以在长时间内保持对人类身份或演变事件等实体的连贯跟踪。

随着大型多模态和语言模型的快速发展，苏格拉底模型框架已成为已成为在线视频理解领域的一种颇具前景的研究方向。

该方法通过利用多模态模型生成视频描述作为基于语言的记忆，有效提升了系统可扩展性；但它在保持复杂、演变视频内容的长期一致性方面仍然面临挑战。

为此，研究团队提出了 M3-Bench，一个用于评估多模态智能体长期记忆推理能力的 LVQA 数据集。

M3-Bench 中的每个实例包含一个模拟智能体感知输入的长视频，以及一系列开放式问答对。

该数据集分为两个子集：

M3-Bench-robot，包含 100 个从机器人第一人称视角录制的真实世界视频；

M3-Bench-web，包含 920 个网络来源的视频，涵盖更广泛的内容和场景。

为了全面评估智能体回忆过去观察结果和基于记忆进行推理的能力，研究团队整理了五种不同类型的问答题，如下图所示。

总体而言，M3-Bench 的特点是：

长时长的真实世界视频，涵盖了与多模态智能体部署相关的多样化现实场景；

具有挑战性的问题，这些问题超越了浅层感知理解，需要基于长期上下文的复杂推理。

上图为 M3-Bench 基准的统计概述，每个问题可能对应多种问题类型。

显著优于基线模型

如上表所示，M3-Agent 在 M3-Bench-robot、M3-Bench-web 和 VideoMME-long 上均优于所有基线模型。

具体而言，在 M3-Bench-robot 上，M3-Agent 比最强的基线模型 MA-LLM 提高了 6.3% 的准确率；在 M3-Bench-web 和 VideoMME-long 上，它分别比最强的基线模型 Gemini-GPT4o-Hybrid 高出了 7.7% 和 5.3%。

研究团队在 M3-Bench 中针对不同问题类型，将 M3-Agent 与所有基线进行了进一步评估。结果显示，M3-Agent 在人类理解和跨模态推理方面表现出色。

具体来说，与 M3-Bench-robot 上表现最佳的基线 MA-LMM 相比，M3-Agent 在人类理解和跨模态推理方面分别提升了 4.2% 和 8.5%；

在 M3-Bench-web 上，M3-Agent 超越了顶尖基线 Gemini-GPT4o-Hybrid，在相应类别中分别取得了 15.5% 和 6.7% 的提升。

这些结果表明，M3-Agent 在保持角色一致性、深化人类理解以及有效整合多模态信息方面具有卓越能力。

参考链接：https://x.com/omarsar0/status/1956773240623235076

论文：https://www.arxiv.org/abs/2508.09736

代码：https://github.com/bytedance-seed/m3-agent

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

— 完 —

希望了解 AI 产品最新趋势？

量子位智库「AI 100」2025 上半年

「旗舰产品榜」和「创新产品榜」

给出最新参考

点亮星标

科技前沿进展每日见