SOOFI 更新版仍未解决基准污染问题
JJitsev · x · 2026-07-26
作者认为，SOOFI 的更新报告仍然没有解决核心问题：
- 报告继续在误导公众，只是用一些边缘修补来转移注意力。
- 关键的 evaluation contamination 并没有被消除。
- 他明确批评反复出现的“frontier-level”叙事过度夸大，缺乏可靠支撑。
所属事件:SOOFI 模型被指评测数据严重泄漏，对比 Nemotron 失去公平性(9 条相关)→
「模型」频道最新
- 有人注意到 Opus-5 的词汇选择很特别 — adonis_singh · 2026-07-26
- Google 的 Gemma 团队公开征集下一代能力需求 — osanseviero · 2026-07-26
- 阿里用 Qwen3.8 反击，Kimi K3 让中美模型差距继续收窄 — emmanuelvivier · 2026-07-26
- Moonshot 发布开权重 Kimi K3，称多项测试逼近美国顶级模型 — emmanuelvivier · 2026-07-26
- 硅谷分歧加剧：中国开源权重模型已逼近美国顶级系统 — emmanuelvivier · 2026-07-26
- Kimi-K3 宣称在 IMO 2026 Lean 4 证明拿下 6/6 — songhan_mit · 2026-07-26