单次跑分已死:评测正变成算力与协议的博弈
Gauri_the_great · x · 2026-11-21
作者认为自 Claude 公布黎曼猜想相关证明以来,"基准分数只是分数"的时代结束了,静态单次基准测试已失去价值,但评测本身反而更重要。
模型得分现在严重依赖:
- 是否允许多轮迭代
- 是否获得验证器反馈(编译器、测试套件、Lean 内核等)
- 算力如何在深度串行推理与并行多智能体搜索之间分配
核心论点:评测已成一场算力与协议的游戏——在过低的生成预算下,前沿模型会显得弱得具有欺骗性;反之配合强验证和充足算力,成绩会大幅不同。
「模型」频道最新
- 破案:匿名榜单神秘模型 Gestalt 疑为智谱憋了三个月的 GLM-5.5 — VraserX · 2026-11-21
- Google 老毛病:连胜几个月就断更,希望这次已内部修正 — Angaisb_ · 2026-11-21
- Raschka:中美开源模型相互成就,闭源靠开源才又好又便宜 — rasbt · 2026-11-21
- 生物学家喊话:取消 Claude 订阅,生物研究改用 Gemini 4 — DeryaTR_ · 2026-11-21
- Intel 研究员:开源模型已够用,黎曼猜想证明不了啥 — JFPuget · 2026-11-21
- GPT-6.2 Astra 智商第二但文风垫底,五前沿模型智商与「人味」横评 — iruletheworldmo · 2026-11-21