研究者指 SOOFI 模型评测存在数据泄漏
JJitsev · x · 2026-07-19
研究者 @JJitsev 指出，近期声称在德语评测中取得优势的 SOOFI 模型存在严重的评测数据泄漏问题。
SOOFI 在训练期间见过大部分评测集（甚至在 GPQA 中见过测试集），而作为对比基线的原始 Nemotron-3-Nano 并未见过这些数据。使用这种“作弊”方式与原始模型对比来宣称达到“前沿级别”是不成立的。
所属事件:欧洲开源模型 SOOFI 被指评测泄漏与过度包装(11 条相关)→
「模型」频道最新
- 网传 Terminal-Bench 4.0 图：GPT-6.1 Terra 以最低成本登顶 — Angaisb_ · 2026-10-27
- GPT-6.1 Terra 全量上线:Plus/Pro/企业/Edu 可用,API 名 gpt-6.1-terra — OpenAI · 2026-10-27
- OpenAI 发布 GPT-6.1 Terra:API 价格较 GPT-5.6 Terra 降 50% — OpenAI · 2026-10-27
- 模型为何泄露信息难有定论，PyTorch 作者：网络安全中动机不重要 — brhydon · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27