记忆层越空越自信?开发者用六个极端房间揪出置信度门 bug
Initial_Orange2985 · reddit · 2026-09-12
一位 agent 记忆层开发者分享了一个隐蔽 bug：存储中的事实以向量求和成单一 trace，答案经置信度门控（z 分数）决定是否输出。作者搭建了六个「被做手脚的环境」测试失效时系统是「喊出来」还是「撒谎」。
- 四个房间安全：时钟回拨无害，时钟前推十年或 NaN trace 都正确静默
- 关键 bug：候选对象少于 3 个时，z 分数无法计算，系统返回无限置信度——空库或刚被清空的库对一切满怀自信，凭空编造。
- 修复不是拒绝回答（持有两个事实的库确实知道这两条），而是利用两分布间 0.4752 的空隙设 0.40 地板：六个编造归零，代价是两条原本正确的答案变静默（6 对 4+2），写进测试锁定
- 第二个撒谎房间未修复：10 倍容量饱和时仍以 4.83 置信度编造，输出中无任何异常标记
作者最后提问：你的检索存储在空/近空索引上实际会返回什么？
「编程与Agent」频道最新
- DeepSeek V4-Pro-0813 与 GLM-5.3 上线 Nebius，主打编码与 Agent 工作流 — Arindam_1729 · 2026-09-12
- MCP 工具投毒检测首查全盲,作者提出零基线隐形字符检测法 — blitzcrieg11 · 2026-09-12
- Brex CEO：PRD 已死，公司该给 AI 员工配岗位与预算 — petergyang · 2026-09-12
- 三次独立测试两次显著更差：换便宜模型你可能只是运气好 — Ok-Challenge-7810 · 2026-09-12
- 开源工具 bough 把 Codex/Claude Code 会话历史画成可视化地图 — VoidEqualZero · 2026-09-12
- GPT-6 Astra 搭建开源 AI 软件工厂:7×24 无人值守从需求到上线 — Cole Medin · 2026-09-12