德国开源基础模型 Soofi S 发布

eliebakouch · x · 2026-07-12

【引用原帖】德国语言与英语的开放基础模型项目 Soofi S 发布了预训练技术报告，主打“主权模型”和完全透明：公开了完整训练报告、数据来源拆分、超参、训练与评测代码、checkpoint，并在英文和德文汇总评测上都达到很强表现。模型训练在 Deutsche Telekom 的基础设施上完成，强调对德语数据进行了刻意加权。

补充评论指出，这次实验采用了和 Nemotron 3 Nano 基本相同的架构与大部分超参，只是换了一个略不同的数据混合，训练了约 26T tokens，和 Nemotron 配方的重叠约 80%。评论者认为这并不算计算效率高，可能用 Nemotron base 做继续预训练会更省算力，但它仍是一个有价值的案例：能观察不同数据混合如何影响下游评测，也展示了欧洲团队从零做预训练的实践价值。