中国电信&MemTensor 发布 HaluMem:首个操作级智能体记忆幻觉基准
jiqizhixin · x · 2026-10-09
中国电信研究院与 MemTensor 提出 HaluMem,已被 EMNLP 2026 主会接收,是首个面向智能体记忆系统的操作级(operation-level)幻觉基准。
- 问题:智能体记忆系统会以多种方式出错——整理对话时记错职位头衔、保留过期记录不更新、检索到正确记忆却在回答时换成了别的头衔。同样的错误答案可能源于完全不同的记忆失败。
- 方法:将评测下钻到三个阶段——记忆检索、记忆更新、记忆问答,精确定位错误起源及其如何传播到后续回答,而非只看最终输出对错。
- 价值:把「答错了」拆解为多种可区分的失败模式,为记忆系统改进提供诊断工具。
「研究」频道最新
- 换 harness 不换模型,GPT-5.6 仓库迁移成绩从 6.5% 飙到 31% — omarsar0 · 2026-10-09
- Sakana AI 连续记忆机器:双矩阵分离短期计算与长期存储 — dair_ai · 2026-10-09
- Delip Rao 与 Chris Callison-Burch 发表 LLM 评估 rubric 新论文 — deliprao · 2026-10-09
- 数学家发布 AI 起草论文草稿：结合 OpenAI 新成果攻克加速对数凹采样 — michaelchchoi · 2026-10-09
- COLM 海报 #60：推理模型爱放大的行为 ≠ 真正带来好结果的行为 — Jeande_d · 2026-10-09
- EngramEdit 论文:靠条件记忆解耦更新 LLM 事实知识 — teortaxesTex · 2026-10-09