Noam Brown 质疑 CAIS 榜单:统一 reasoning high 评测口径欠妥
polynoamial · x · 2026-09-24
Noam Brown 指出 CAIS 与 Scale AI 评测网站上标注「所有模型均以 reasoning high 评测」的做法存在问题：不同模型的 high 推理档位含义差异很大，统一口径缺乏可比性。
他建议改为报告评测的实际花费成本，或更好——给出准确率 vs 成本的曲线图，而非只标推理档位。
所属事件:Noam Brown 等质疑 CAIS 榜单统一用 high 推理档评测(2 条相关)→
「模型」频道最新
- DeepMind 称 Gemini 智能体 4 周完成 Signal 加密协议数学验证 — Polymarket · 2026-11-11
- 爆料：Google 新模型阵容曝光，含 Flash 迭代与视频模型 — koltregaskes · 2026-11-11
- 爆料:OpenAI Astra 6.2 或将临近,已现于 Codex 日志与谷歌云配额 — haider1 · 2026-11-11
- 同一段提示词实测：Fable 5.2 花时 3 倍费用 2 倍，换来导演级表达 — iamfakhrealam · 2026-11-11
- Krafton 开源 1.5B 端侧模型 Raon-1 nano,多项基准超同尺寸对手 — DimitrisPapail · 2026-11-11
- 打错字会让 LLM 不舒服？tokenization 引发有趣讨论 — menhguin · 2026-11-11