研究者质疑 CAIS 评测用统一 high 推理档:成本不透明且不可比
polynoamial · x · 2026-09-24
研究者 polynoamial 公开质疑 CAIS/Scale AI 评测榜单统一以 "reasoning high" 档位评测所有模型的做法。他指出不同模型在 high 档下的推理投入差异巨大，统一档位并不能保证可比性；建议评测方改为报告评测的实际美元成本，或直接给出准确率 vs 成本的曲线图，比单一分数更有参考价值。
所属事件:Noam Brown 等质疑 CAIS 榜单统一用 high 推理档评测(2 条相关)→
「模型」频道最新
- Artificial Analysis 榜单权重被批随意，随时间大幅变动 — HamelHusain · 2026-11-12
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- antirez 背书:苹果 M5 本地跑低比特 DeepSeek 好过 27B 稠密模型 — antirez · 2026-11-12
- 被禁用视觉后 Gemini 自建文本图像硬扛基准,性能仅降 6% — zacharynado · 2026-11-12
- 实测三模型纯裸跑编码：Gemini 4 Carbon 代码质量惊艳性价比最高 — Semantic_meaning · 2026-11-12