FrontierMemory 基准：现有记忆评测饱和，持续学习仍未解决
sujingshen · x · 2026-10-23
@charlespacker 指出现有"记忆"基准已经饱和，因为它们只测事实召回——在编码 harness / bash 循环时代，召回已解决，而 token 空间中的持续学习仍是未解问题。
新基准 FrontierMemory 的核心前提是：如果 AI 生成的记忆是好的，就应该真正提升下游任务表现——有记忆的 agent 应比无记忆 agent 更高效(更低成本)或更强(更高分数)。按此标准衡量，各前沿模型的记忆能力差距非常大，例如 Opus 5.5 与 GLM-5.3 之间差异显著。主帖作者则从用户视角提问：各家 agent 改过主意后仍按旧指令办事，究竟是在"记住新指令"还是"覆盖旧指令"上栽跟头。
所属事件:Letta 发布 FrontierMemory 基准，用下游任务评测 Agent 记忆(5 条相关)→
「编程与Agent」频道最新
- 用 Grok Build 生成的「网络效应合成器」：140 种网络效应分类画廊 — seanmcdonaldxyz · 2026-10-23
- 开发者用 Grok 把 Casado 护城河论做成「网络效应合成器」网页 — seanmcdonaldxyz · 2026-10-23
- Zig 显式内存分配为何适合写数据库：无 GC、分配可控、错误显式 — arpit_bhayani · 2026-10-23
- 11 天用 Claude Code 搭 Company OS：Slack 里跑起来的团队操作系统 — aakashgupta · 2026-10-23
- Zapier CEO 亲授「变革级」AI 评级路线图:从 Capable 到重塑公司工作流 — aakashgupta · 2026-10-23
- Smaug-Nemotron-3.5 发布:面向本地 Agent 编程的美国开源模型,单机可跑 — bindureddy · 2026-10-23