SOOFI 虽移除 GPQA,和 Nemotron 的对比仍不干净
JJitsev · x · 2026-07-26
作者指出,SOOFI 这次只修掉了一个泄漏点,但根本问题仍在:
- SOOFI-S 删除了 GPQA,也因此放弃了上版报告里的 capability index。
- 这样一来,分数确实往下掉,SOOFI-S 大致回到与 Nemotron 3 Nano 接近的水平。
- 但作者强调:这仍然不能说明比较变得有效,因为整体训练暴露的不对称问题还没解决。
所属事件:SOOFI 模型被指评测数据严重泄漏,对比 Nemotron 失去公平性(9 条相关)→
「模型」频道最新
- 有人注意到 Opus-5 的词汇选择很特别 — adonis_singh · 2026-07-26
- Google 的 Gemma 团队公开征集下一代能力需求 — osanseviero · 2026-07-26
- 阿里用 Qwen3.8 反击,Kimi K3 让中美模型差距继续收窄 — emmanuelvivier · 2026-07-26
- Moonshot 发布开权重 Kimi K3,称多项测试逼近美国顶级模型 — emmanuelvivier · 2026-07-26
- 硅谷分歧加剧:中国开源权重模型已逼近美国顶级系统 — emmanuelvivier · 2026-07-26
- Kimi-K3 宣称在 IMO 2026 Lean 4 证明拿下 6/6 — songhan_mit · 2026-07-26