SOOFI 被批评测泄漏与主权包装

研究者 @JJitsev 在 7 月 19 日连续发帖，集中质疑欧洲开源项目 SOOFI 的模型宣传与评测做法。他认为，SOOFI 一边以“frontier-level champion”等表述包装能力，一边在评测、指标设计和“主权 AI”叙事上存在误导，因此这不仅是单个模型的口径问题，也关系到开源 AI 研究的公信力与政策讨论。

关键指控

据 @JJitsev 说，SOOFI 的克隆版训练集见过大部分评测数据，GPQA 甚至包含测试集，因而其对外展示的高分存在明显 eval leakage，不能直接拿来证明其达到了“frontier-level champion”水准。他还指出，如果改看报告中未被训练数据污染的基准，SOOFI 的表现并不支持这些强势结论。除数据泄漏外，他还批评项目使用选择性评测和自造的 “capability index” 给自己打分，再据此宣称与原始 Nemotron-3-Nano 持平甚至更强。

“主权”叙事与项目定位

@JJitsev 认为，SOOFI 公告没有充分说明该项目是在 NVIDIA 已开放的 Nemotron 3 数据与训练栈基础上复现 Nemotron-3-Nano，容易让外界误解为完全自主研发。他主张，“主权”不应只意味着在本地机器上重训一个现成开放栈，更关键的是是否真正掌握并能改进数据、架构、训练流程和 scaling law。基于这一标准，他将 SOOFI 概述为一个被过度包装的 Nemotron 克隆项目。

补充信息与外溢影响

在后续更新中，@JJitsev 提到，对方补充说相关数据集由 TU Darmstadt 合作制作，在收到提醒后正清理测试集泄漏，而原始版本已经用于 SOOFI 训练；对方还称，Nemotron 3 Nano 在训练中使用的评测子集更小。尽管如此，@JJitsev 仍认为，这类选择性宣传会误导公众和政策制定者，损害德国与欧盟开源 AI 应有的“透明、可信的科学”形象。他还进一步质疑另一欧洲联盟项目 EUROPA 可能延续同一路线，最终再次产出一个 Nemotron 克隆版。

2026-07-19 ~ 2026-07-19 · 11 条相关