欧洲开源模型 SOOFI 被指评测泄漏与过度包装

7 月 19 日，研究者 @JJitsev 连续发帖，集中质疑欧洲开源 AI 项目 SOOFI 的模型宣传与评测做法。他认为，SOOFI 不仅在评测中存在严重的数据泄漏，还通过自造指标和“主权 AI”叙事进行过度包装，这种选择性宣传会误导公众与政策制定者，损害欧洲开源 AI 研究的公信力。

关键指控：评测泄漏与自造指标

据 @JJitsev 指出，SOOFI 的克隆版训练集已经见过大部分评测数据，GPQA 甚至包含了测试集，导致其宣称的“frontier-level champion”缺乏说服力。如果改看报告中未被污染的基准，表现并不支持其强势结论。此外，他批评项目发明了别人都不用的“capability index”来给自己打分，再据此声称与原始 Nemotron-3-Nano 持平甚至更强。对方随后补充称，相关数据集由 TU Darmstadt 合作制作，收到提醒后正清理泄漏，但原始版本已用于训练；对方还辩称 Nemotron 3 Nano 训练时使用的评测子集更小。

“主权”叙事与项目定位

@JJitsev 认为，SOOFI 公告没有充分说明该项目是在 NVIDIA 已开放的 Nemotron 3 数据与训练栈基础上复现 Nemotron-3-Nano，容易让外界误解为完全自主研发。他强调，在 Telekom 的 B200 机器上重训现成开放栈并不等于真正的“主权”，关键是要真正掌握并能改进数据、架构、训练流程和 scaling law。基于此，他将 SOOFI 概述为一个被过度包装的 Nemotron 克隆项目。

外溢影响与后续质疑

@JJitsev 警告，这类夸大宣传会伤害研究诚信并制造噪音，破坏德国和欧盟开源 AI 长期应有的“透明、可信的科学”形象。他还进一步质疑，另一个由相同组织主导的欧洲联盟项目 EUROPA 可能会延续同一路线，最终只是训练出另一个 Nemotron-3-Ultra 的“克隆版”。

2026-07-19 ~ 2026-07-19 · 11 条相关

一手来源