团队花 6 周按官方规则跑 Mem0 自家基准，得分 451 反超原版却被卡提交

gauzzastrip · reddit · 2026-11-06

Empirical（一个 agent 记忆层）的开发者按 Mem0 官方规则完整跑了其 DolphinBench 记忆基准：耗时 6 周、13 次尝试，得到 451/600，高于 Mem0 自己同配置的 424 分。但提交时发现官方打包工具产出的文件约为其上传上限的 7 倍——意味着 Mem0 自己的分数从未通过该工具提交，疑似从未有人完整走过这套流程。作者已提交修复并上传了非官方打包的小体积版本，但前景不明。这一插曲对记忆基准的可信度提出了实际质疑。