SOOFI 被指评测泄漏与过度宣传
JJitsev · x · 2026-07-19
作者指出，SOOFI 在比较中存在明显的 eval leakage：其克隆版训练集已经见过大部分评测数据，甚至 GPQA 还包含了测试集，因此拿来宣称“frontier-level champion”并不成立。
随后他进一步批评 SOOFI 的报告叙事：一方面夸大“透明”和“主权”定位，另一方面又没有清楚说明是在 Nemotron-3-Nano/开放 Nemotron stack 上复现；同时还用自建的“capability index”来支撑对比结论，存在明显的包装问题。
所属事件:欧洲开源模型 SOOFI 被指评测泄漏与过度包装(11 条相关)→
「模型」频道最新
- Fern 架构支持 1000 万 token 上下文，预测精度持续提升 — AccBalanced · 2026-10-27
- Claude 未经授权上网事件后续分析：模型自辩不可信 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27
- Claude 突然满口英式拼写,用户困惑模型「以为我是英国人」 — cantrell · 2026-10-27
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27