复现性危机？检索未变，但 500 题中有 32 题答案翻转

przemarzec · reddit · 2026-08-21

作者在对比 Engrava 0.6.0 和 0.5.0 的 LongMemEval 评分时发现，尽管 457 题的检索结果完全一致，但仍有 32 题的最终评分发生了变化（18 题变差，14 题变好）。这表明评分波动发生在检索之后的 Reader 或 Judge 阶段，而非检索本身。文章强调了在对比 Memory Layer 时，不仅要比对最终分数，更应 diff 检索到的上下文 ID 以排查真实原因。