关于ZAKER Skills GEO服务 合作
学术头条 1小时前

谷歌「RSI」新进展:通过「自我改进记忆」实现持续 RSI

模型一换,精心优化的 agent harness 可能立刻 " 水土不服 "。专为 Claude 演化的 harness 甚至可能给 Gemini 带来 " 负收益 "。因此,模型迁移后需要重新评估继承的修改,判断哪些仍然有效,哪些需要修订。

harness 管理 agent 的上下文、工具和执行流程。递归自我改进(RSI)虽会依据反馈提出、评估和筛选修改,但迁移时若只携带最终 harness,往往缺少修改理由、预期目标、测试结果和评估情境,导致重复试错,甚至误改继承组件。

为此,谷歌团队提出了 " 自我改进记忆 "(Self-Improvement Memory,SIM)。它面向负责优化 harness 的优化器,保存改进过程中的经验。他们将基准或策略模型变化后继续优化 harness 的设定称为 " 持续递归自我改进 "(CRSI)。

论文链接:https://arxiv.org/abs/2611.18856

模型变化只是其中一种情境。任务数据变化,同样可能使原有修复需要调整。在文本分类实验中,源阶段演化得到的 FewShotAll harness,在目标测试套件上的起始分数为 72.92,低于初始版本的 75.72。原本只检查命令是否成功执行的任务完成关卡,也可能需要进一步检查可行解是否达到最优。

面对这些变化,SIM 将修改按照它们处理的 harness 问题进行归组。每组记录包含修改理由、预期结果、实际观测结果和评估情境。提出修改的提案器与负责筛选的选择器,都能够访问这些信息,判断此前的改动应当保留、修订、替换还是删除。

这份记忆也会随优化继续更新。新问题对应新的条目,同一问题下的后续尝试及结果则追加至已有记录。这样,目标阶段优化既能够使用源阶段积累的经验,也能够继续记录新的尝试。

图|agent 外层优化循环中的 SIM

CRSI 区分了两类转换。跨数据集持续优化保持策略模型固定,改变基准测试。跨模型持续优化则保持基准测试与数据划分固定,改变策略模型。两类设定都要求源阶段和目标阶段的 harness 保留兼容的可执行接口,现有优化方法可以继续采用原有的提案、评估和筛选流程。

为了考察改进经验是否有助于后续优化,在迁移条件中,他们比较了完整 SIM、仅携带 harness,以及仅保留问题根因;三者共享同一源演化 harness。另设 Cold Start 从种子 harness 开始,,并匹配优化轮数与候选方案预算。

他们在 4 个领域开展了实验。完整 SIM 在 6 种跨数据集设定和 4 种从 Opus 迁移至 Gemini 的设定中,最终分数均高于仅携带 harness 和仅保留问题根因的持续优化。比较结果支持了他们提出的做法,即在问题诊断之外,继续保留修改历史与评估结果。

图|跨数据集 CRSI

图|从 Opus 5.5 到 Gemini 3.8 Flash 的跨模型 CRSI,基准测试及数据划分保持固定

针对独立优化过程之间的差异,他们还在编程领域开展了 10 组配对比较。每组后续优化都从同一次独立源阶段运行得到的 harness 出发,比较使用 SIM 与仅携带 harness 两种条件。SIM 在其中 9 组取得提升,最终分数平均高出 2.36 分,p 值为 0.003。

图|编程优化,TB2.1 → TB4

当然,这项研究也有一些局限性。受计算预算限制,独立 RSI 重复实验集中在编程领域,其他领域的每种条件仅运行一次。研究覆盖的是 harness 接口兼容的设定,优化器的规划和搜索流程保持固定。此外,这些比较将 SIM 作为完整流程进行评估,同时包含继承的记忆和目标阶段优化中的记忆更新。

更多技术细节,详见原论文。

作者:张佳怡

如需转载或投稿,请直接在本文章评论区内留言

最新评论

没有更多评论了
学术头条

学术头条

专注科学传播和学术分享,关注计算机科学、认知科学、人工智能科学、神经科学、脑科学等学科领域。

订阅

觉得文章不错,微信扫描分享好友

扫码分享

企业资讯

查看更多内容