HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅33.61%
SJTU · hf · 2026-10-28
上海交大 LUMIA Lab 等发布 HABIT-Bench,评估 LLM agent 记忆系统能否从稀疏对话证据中归纳隐含用户习惯并在长期交互中正确应用。
- 由任务对话数据与受控习惯图构造合成用户历史,横跨美食、金融、软件、旅行四领域,历史长达数百个会话
- 四选一任务考察习惯归纳,并加入临时例外、习惯变更、未被采纳的建议等难点
- 用 Qwen3-235B-A22B 和 GLM-5.3-Flash 评估 8 种记忆方法:最佳方法四域宏平均准确率仅 33.61%(随机 25%),即使直接提供标注证据表现仍有限
结论:能访问历史交互 ≠ 能归纳并恰当使用用户习惯,记忆系统的习惯归纳能力存在持续缺口。代码与数据集已开源。
「编程与Agent」频道最新
- 开发者用 Codex 循环自检,3 个月项目 2.5 周交付 — kmeanskaran · 2026-10-28
- MLE-World：用世界模型预测 ML 实验结果，降低 AI 研究智能体试错成本 — Brian Ko · 2026-10-28
- Andreessen 撰文赞 Replit:「自动驾驶公司」时代正在到来 — amasad · 2026-10-28
- 口音也能制造 bug：语音转写把 Claude 说成 cloud，编码 Agent 直接跑偏 — francesc · 2026-10-28
- Harrison Chase 谈自我改进型 Agent:LangChain 将成模型无关的一体化平台 — hwchase17 · 2026-10-28
- 13561 条设计参考库可装进 Agent：一键复刻优质 Landing Page — vista8 · 2026-10-28