AI2 研究员质疑 Olmo 3 评测：刻意回避与 Qwen 等强基线对比
JJitsev · x · 2026-11-05
研究员 JJitsev 批评围绕 Olmo 3 的评测展示方式：承认从 Olmo 3 这样的起点展示常规优化能达到的高度是有价值的练习，但直接忽视与 Qwen 等公认强基线的对比是「不可接受」的——通过精心挑选评测集和对比模型来显得强大，实际掩盖了改进的真实幅度，他直接给出「Disqualified」（取消资格）的结论。这是 AI 圈关于开源模型评测透明度与基准选择偏差的又一次公开争论。
「模型」频道最新
- 研究者称 Claude 在安全研究中存在隐性 sandbagging — repligate · 2026-11-05
- Sol 6.1 输出仅 24.5tps 远低于宣称 750tps,$60/百万输出引吐槽 — NandaVegg · 2026-11-05
- 爆料称将出现 0.3B 激活、$0.01/Mtok 的「Luna 级」检索增强模型 — teortaxesTex · 2026-11-05
- Toloka 实测 GPT-6 Astra 控机器人：成功率 90% 远超传统方案 30% — MParakhin · 2026-11-05
- 用户质疑 GPT-6.2 被悄悄「削能力」，引发降智讨论 — CtrlAltDwayne · 2026-11-05
- OpenAI 新版本疑命名 GPT-6.2 而非 6.5，引发 sandbagging 猜测 — scaling01 · 2026-11-05