OmniMemEval 排行榜遭质疑:条件不一致、整合随意、还在刷榜
Snoo-bedooo · reddit · 2026-11-17
一位研究者质疑 AI 记忆系统基准(尤其 MemTensor 的 OmniMemEval)排行榜的可比性:
方法学差异
- 数据集不同:对方评 1,540 题(排除对抗题、含开放域题),自方评 1,762 题
- 模型不同:对方用 GPT-4o-mini 判分、GPT-4.1-mini 答题;自方用 GPT-5.1 和 GPT-5-mini
- 摄入策略不同:对方每 session 一次记忆调用,自方每对话(6 轮窗口)一次
- 检索配置不同:自方用混合检索,cognee 适配器疑似未用
更深层问题
- 各系统摄入的信息不对等:LoCoMo 中部分系统拿到图片字幕,cognee 没有;LongMemEval 中 Hindsight 收到日期/计划/时间变化的专门提取指令,其他系统没有——那测的到底是记忆系统本身,还是整合者的选择?
- OmniMemEval 的 run notes 明确记录了检查 BEAM 失败案例后调整时间上下文排序、分数从 70.28 升至 72.52,并承认这不是独立测试——在报告的基准上直接调参等于过拟合
作者不指控造假,但认为摄入、检索、提示词、模型选择等配置自由度足以实质改变排名。公平的评测应让各系统按自身架构工作,同时保证等价输入与明确定义的约束。
「模型」频道最新
- 复旦 OpenMOSS 发长文:长上下文混合架构学得多却外推弱 — jiqizhixin · 2026-11-17
- 实验发现:让模型写代码时,Opus 97% 调用自家 Claude API — santiviquez · 2026-11-17
- 同一实验:Opus 仅 10/60 回答使用搜索,GPT 模型次次都搜 — santiviquez · 2026-11-17
- 3360 次 API 推荐实验:79% 流向四大云厂商 — santiviquez · 2026-11-17
- 网友实测 Hy4 Flash:质量接近 DeepSeek-V4.1,成本仅 1/15 — IlovedamemesUwU · 2026-11-17
- OpenAI 将砍掉标准语音模式,作者批评 GPT-Live 架构牺牲推理深度 — Cyborgized · 2026-11-17