SurrealDB 揭 agent 记忆基准注水：严格口径普遍比头条分低 20+ 点
mattturck · x · 2026-10-16
SurrealDB 发布 Agent Memory 产品并连发两弹：既公布自家在 BEAM 基准 100 万 token 下 77.2% 的头条分，也公布只算满分项的严格口径 57.1%，两者相差 20.1 点。
团队研读了 BEAM 与 LoCoMo 两个 agent 记忆基准的测试代码、提示词、judge 设置和逐题输出，结论是：这些分数本质是一份“配方”——由谁写答案、谁当 judge、用什么提示词、半分是否计入等每一步选择都会改变分数。图中对比显示各家 headline 与严格分差距普遍在 20-27 点：Exabase 75.0%→48.0%，Hindsight 73.9%→48.4%，Mem0 64.1%→40.1%，Honcho 63.1%→41.4%，HydraDB 甚至只报 82.0% 无严格分。
作者强调这并非排名（各家用的答题/评审模型与计分规则不同），而是呼吁：没有公开这些设置，头条分数就难以解读。
所属事件:SurrealDB 发布 Agent Memory，自曝基准严格口径差距(5 条相关)→
「编程与Agent」频道最新
- Vibe coding 数据管道易,亿级生产可靠难:八大数据工程课题清单 — Zachly · 2026-10-16
- Claude Code Review 上手指南：管理员一键开启，每个 PR 自动审查 — ClaudeDevs · 2026-10-16
- Anthropic 送码：Enterprise 用户可领至少 1 万美元 Code Review 额度 — ClaudeDevs · 2026-10-16
- Anthropic Code Review 正式上线：速度提升 3 倍，支持三档审查强度 — ClaudeDevs · 2026-10-16
- Supabase CLI 2.119.0:无需 Docker、每个 Coding Agent 独享本地项目 — dshukertjr · 2026-10-16
- 马斯克转发用户实测：Grok 电脑操作速度超预期，免装 Codex — elonmusk · 2026-10-16