SOOFI 被指评测泄漏与过度宣传
JJitsev · x · 2026-07-19
作者指出，SOOFI 在比较中存在明显的 **eval leakage**：其克隆版训练集已经见过大部分评测数据，甚至 GPQA 还包含了测试集，因此拿来宣称“frontier-level champion”并不成立。 随后他进一步批评 SOOFI 的报告叙事：一方面夸大“透明”和“主权”定位，另一方面又没有清楚说明是在 Nemotron-3-Nano/开放 Nemotron stack 上复现；同时还用自建的“capability index”来支撑对比结论，存在明显的包装问题。
所属事件:SOOFI 被批评测泄漏与主权包装(11 条相关)→
「模型」频道最新
- 韩国初创模型在 AAII 得 44 分，接近 DeepSeek V4 Pro — JungWooHa2 · 2026-07-21
- 有人预测 OpenAI 的 GPT-6 会比 Fable 高效得多 — bindureddy · 2026-07-21
- Moonshot 重点推出 Kimi K3 与 API 平台 — pstAsiatech · 2026-07-21
- Motif 3 Beta 上线 Hugging Face，韩国基础模型竞赛继续升温 — Secure_Smoke_4280 · 2026-07-21
- Sakana AI 的 Fugu-Cyber 更新在安全基准上领跑 — SakanaAILabs · 2026-07-21
- Mythos 发布被类比 o1：限量放出后又被开源复现 — nptacek · 2026-07-21