Gary Marcus 警告：LLM 榜单正在把 harness 一起算进去
GaryMarcus · x · 2026-07-22
Gary Marcus 转发并强调了一条关于模型评测方法的提醒：很多团队正在悄悄把评测对象从单纯的 LLM，变成了 LLM + harness（外部包装/脚手架），但排行榜名称并没有同步改写。
核心问题是：如果被测系统已经变了，却还沿用同一个 benchmark 名字，比较结果就会失真。 Marcus 认为这件事非常重要，若不理解这一点，就很难真正看懂当下 AI 评测在发生什么。
「研究」频道最新
- TRL 上线 Score Centering：直击 RL 训练不稳定的根因 — lvwerra · 2026-10-27
- Latent-Foresight:让世界模型学着预判自己的未来 — abursuc · 2026-10-27
- 英国 AISI 发文：现有手段不足以防生物 AI 工具被滥用 — davidmanheim · 2026-10-27
- CMU 发布 XYBench:LLM 只答字面问题,常无视用户真实需求 — valentina__py · 2026-10-27
- arXiv 前主席提示:投稿主分类选错,论文几乎必被搁置 — tdietterich · 2026-10-27
- arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27