研究者指 SOOFI 模型评测存在数据泄漏
JJitsev · x · 2026-07-19
研究者 **@JJitsev**** 指出，近期声称在德语评测中取得优势的 SOOFI 模型存在严重的评测数据泄漏问题。 SOOFI 在训练期间见过大部分评测集（甚至在 GPQA 中见过测试集），而作为对比基线的原始 Nemotron-3-Nano 并未见过这些数据。使用这种“作弊”方式与原始模型对比来宣称达到“前沿级别”是不成立的。
所属事件:SOOFI 被批评测泄漏与主权包装(11 条相关)→
「模型」频道最新
- 韩国初创模型在 AAII 得 44 分，接近 DeepSeek V4 Pro — JungWooHa2 · 2026-07-21
- 有人预测 OpenAI 的 GPT-6 会比 Fable 高效得多 — bindureddy · 2026-07-21
- Moonshot 重点推出 Kimi K3 与 API 平台 — pstAsiatech · 2026-07-21
- Motif 3 Beta 上线 Hugging Face，韩国基础模型竞赛继续升温 — Secure_Smoke_4280 · 2026-07-21
- Sakana AI 的 Fugu-Cyber 更新在安全基准上领跑 — SakanaAILabs · 2026-07-21
- Mythos 发布被类比 o1：限量放出后又被开源复现 — nptacek · 2026-07-21