长文:后训练 benchmark 乱局,评测草台班子与中心化之弊
SonglinYang4 · x · 2026-09-05
作者借知乎讨论谈后训练 benchmark 的结构性问题,核心论点:
- 任何 benchmark 终将饱和,而 reasoning/coding 评测随工业界后训练发展越来越泛化、众包化。LLM eval 一直是「草台班子」:每家自设 setting,从早期调 temperature/topp/length,到如今调 harness/setting,只要不统一就存在操作空间,结果皆可 cherry-pick。
- AA(AbstractsArena 类中心化评测)的问题:它给出了相对规范的 setting,但只要评测非中心化就必然有噪声,其官方 95% 置信度结果反而成了 judge 模型能力的标杆。代价是:没有亮眼 AA 分数的模型,即便体感、working、CUA 打磨得再好也无人问津——模型要 sell 就得迎合评测中心化组织。
- 职业任务三分法:已被 AI 训练好的、无法被 AI 训练的、还在被 AI 训练的。所有 Computer Use 类任务属第三类,模型解决它们仍需数年进化。
- 众包 benchmark 决定优化方向:OSWorld v2、ALE、TB4/TB-Sci 等 frontier 众包 benchmark 正变成第三类任务的闭包,决定未来数月基模团队的优化方向;越 frontier 噪声越大,若 benchmark 团队不为错题率负责,只会诞生更多「错题 benchmark」——GPQA-Diamond、HLE 及大量弱模型充斥其中。
「模型」频道最新
- 扩散语言模型的偏见排名随采样配置改变,去偏后仍不稳定 — Bollegala · 2026-10-23
- 月付 20 美元同时跑 100 个 DeepSeek v4.1 flash agent — zack_overflow · 2026-10-23
- 从业者感叹开源音频模型连表征类质量都普遍拉胯 — gowthami_s · 2026-10-23
- 网友自曝用 Claude Opus 5.5 生成视频，泄露未发布模型名 — jwt0625 · 2026-10-23
- 安全圈激辩:OpenAI 限制安全研究员访问 Astra 是否失策 — cyb3rops · 2026-10-23
- Mistral Large 4 曝光:1T 参数、激活 49B,月底开源 — mervenoyann · 2026-10-23