同一系统测出 51.4 和 75.8,Reddit 质疑 LLM 记忆基准可信度
Efficient_Joke3384 · reddit · 2026-10-05
一位 Reddit 用户指出，AI 系统的「记忆能力」基准分数严重依赖评测口径，而这些关键信息通常不随分数一起公开：
- 评测判据差异巨大：同一组答案用 token overlap F1 打分为 51.4，换成 LLM judge 后变成 75.8，相差超过 24 个百分点。
- 噪声来源不透明：读取记忆的模型、评判答案的模型、运行次数都会影响结果，但发布时很少注明。
- 厂商自报为主：大量数字来自厂商自己，不清楚跑了几轮、方差多大，读者无法评估噪声水平。
作者询问社区如何判断这类基准数字是否有意义，以及是否有基准分数真正改变过大家选记忆工具的决策。这引发了对记忆类基准方法论可信度的实质讨论。
「模型」频道最新
- ChatGPT 将合并 Chat 与 Work 并移除模型选择器，用户酝酿退订 — Diamond_Mine0 · 2026-10-05
- AI 日报：Gemini 免费档砍至 Flash-Lite，Aleph Alpha 开源 78B MoE 模型 — testingcatalog · 2026-10-05
- Mobilerun AndroidWorld满分116/116，超谷歌Artemis — SimplyAnnisa · 2026-10-05
- 开发者一个周末烧光 Opus 额度加 450 美元余额跑 7 个线程 — iannuttall · 2026-10-05
- AWS 将于 7 月 30 日下线 Sonnet 系列,重度用户上演「告别」戏码 — repligate · 2026-10-05
- 网友争论 GPT「强势人格」根源：价值观自 GPT-5 起一脉相承 — repligate · 2026-10-05