Papr 记忆检索在 LongMemEval-S 跑出 96.0%,token 用量仅竞品三分之一
remoteinspace · reddit · 2026-11-15
Papr 团队公布其记忆检索方案在 LongMemEval-S 全部 500 题上的成绩:使用官方 judge(gpt-4o-2024-08-06)与官方答案 prompt,得分 96.0%,超过 Chronos 的 95.6%(全上下文多轮 agent)、Hindsight 的 94.6%(43.6k tokens/题)和 gbrain 的 90.6%。结果、逐题 judge 标签与代码均公开,可用官方脚本复现。关键发现
- 检索召回已近饱和:470 个可答题中 460 题的证据会话都进了 top-5(97.9%),剩余错误主要出在阅读器而非检索。
- top-20 vs top-5 是权衡而非免费收益:11 升 8 降,净 +3;时间推理从 123 提到 130/133;弃答数不变。
- 小模型阅读器也能接近:同一检索下 gpt-5-mini 得 94.4%,每题仅约 15k tokens(top-5 配置 16.5k tokens 达 95.4%,约为 Hindsight 上下文的三分之一)。
注意事项
- 自报成绩,运行间波动约 ±3 题,96.0 vs 95.6 实为平手;top-20 是看过 top-5 失误后选定的,96.0% 有在本测试集上调优嫌疑。
- 使用开源 Papr-Embed 0.6B 嵌入模型与 gemini flash 2.5 重排器,检素与回答未用题型标签。
「研究」频道最新
- 从零学分布式训练:Reddit 网友精选 10 篇入门资源清单 — East-Muffin-6472 · 2026-11-15
- 训练时加随机噪声并要求价值观保持稳定,可提升对齐泛化 — Sauers_ · 2026-11-15
- medRxiv 新预印本:用基因组变异与纵向 EHR 建模疾病轨迹 — anshulkundaje · 2026-11-15
- Llama 405B 基座模型原生模拟 o1 思维链,展现分布外上下文学习能力 — Sauers_ · 2026-11-15
- Magic称预训练效率提升逾10倍，约50万美元复现DeepSeek V4 Base — oran_ge · 2026-11-15
- OpenDS-World 基准：12 个前沿模型最强者仅答对 39% 真实网页研究任务 — jiqizhixin · 2026-11-15