开源长期记忆基准 glasshouse:197 万 token 对话、2847 题、17 个维度
True_Mongoose_7073 · reddit · 2026-10-16
一家记忆基础设施公司发布了名为 glasshouse 的 agent 长期记忆基准草案:2847 个问题、197 万 token 的对话、覆盖 10 种语言,按 17 个维度分别报告成绩而不给单一总分。其中一些维度较少见于其他基准,比如事实更新后系统是否还返回旧值,以及两条存储事实冲突时是否会自信地选边。
作者坦承这是草案、尚无人提交(包括自己),评分需调用裁判 LLM、用提交者自己的 API key,有成本。发帖征集做 agent memory 的开发者反馈哪些维度缺失或不公。
「编程与Agent」频道最新
- HR 用 Claude Code 打造招聘 Agent:吃透 6 万份历史简历,一个月找到 30 名合格候选人 — G0NZ0BOY · 2026-10-16
- 用 ChatGPT 编排 + Argon 生成,做了一部给外星人看的 100 帧人类肖像视频 — dx8xb · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- 开发者分享给电脑上的 Agent 划权限:能读能写,发删买一律先问人 — No_Fan5310 · 2026-10-16
- 开发者用GPT写出unifi-simulator,让MikroTik交换机伪装进UniFi网络拓扑 — Pytlicek · 2026-10-16
- 斯坦福 45 分钟课拆解 Grok Bot:always-on agent 的 harness 工程 — Hesamation · 2026-10-16