Reddit 长文：LLM 基准只是特定设置下的证据
noninertialframe96 · reddit · 2026-07-24
这篇 Reddit 长文的核心观点是：LLM benchmark 既不是纯科学，也不是纯营销；它们提供的是“特定实验设置下的真实证据”。
作者拆解了 benchmark 分数是如何被塑造出来的四个维度：
- 选哪些任务进入榜单；
- 用什么 harness 和算力预算跑；
- 采用什么评分方式；
- 实验室最终报告哪一个结果。
文中还引用了近期评测质量问题：7 月一次审计发现 34.1% 的 SWE-bench Pro 任务有问题，FrontierMath v2 则修正了 42% 题目中的错误。作者据此指出：如果整理几百个评测任务都这么难，那大规模整理训练数据只会更难，这也解释了 Scale AI 2025 年据称约 20 亿美元营收为何合理。结论是：benchmark 分数有价值，但最能说明模型好坏的，往往还是你自己工作流里的私有评测。
所属事件:业界热议：LLM基准测试易脱离真实流量误导决策(5 条相关)→
「研究」频道最新
- Chelsea Finn：机器人 RL 的瓶颈是物理 rollout 成本 — ycombinator · 2026-07-27
- ICML 2026 口头论文复现分数重算后仍偏中等 — profjamesevans · 2026-07-27
- 长周期智能体最终需要不可变事件日志 — sebpaquet · 2026-07-27
- Seed IQ 在 Doom II 里通关，引出 ARC-AGI 之后的评测问题 — Fit_Transition8824 · 2026-07-27
- 实测智能体数据科学工作流：代码能跑但常答错问题 — hugobowne · 2026-07-27
- 一份横跨 ML、系统、NLP 与音频的经典论文清单 — deliprao · 2026-07-27