德国联盟发布开源主权模型 Soofi S 30B-A3B

德国多家科研机构与企业组成的联盟发布了面向德语和英语的开源基础模型 Soofi S 30B-A3B。该发布主打“主权模型”概念,并因极高的透明度受到社区关注——项目不仅开放模型权重,还公开了从数据拆分、超参数到训练与评测代码的较完整训练工件。

关键细节

根据 @The Soofi-Team 的介绍,Soofi S 30B-A3B 采用 MoE 与 Hybrid Mamba Transformer 设计,总参数量为 30B,但每个 token 仅激活 3B 参数。@mishig25 转述称,该项目由 DFKI、Fraunhofer IAIS / IIS、TU Darmstadt、Würzburg 大学、BHT、L3S 等机构联合参与。@eliebakouch 指出,公开内容覆盖了完整训练报告、数据来源拆分、超参数、训练与评测代码以及 checkpoint,并且该模型在英文和德文的汇总评测中表现较强。训练规模方面,帖文中存在 27T tokens 与约 26T tokens 两种转述口径。

争议与存疑

围绕“主权模型”的技术新意,社区也出现了审慎的评价。@eliebakouch 在另一条评论中指出,该模型的架构和大部分超参数基本沿用了 Nemotron 3 Nano,主要变化仅是对数据混合配比进行了约 20% 的调整。这引发了关于该模型创新究竟来自架构突破还是数据配比调整的讨论。

2026-07-12 ~ 2026-07-14 · 5 条相关

事件全程(共 3 集)→

一手来源