dill-lab 开源 108 个小语言模型及约 3900 个检查点

dill-lab 团队为配合其 ICML 2026 论文,在 HuggingFace 的 GeoLadder 合集中公开了 108 个 OLMo 风格语言模型,参数规模从 4M 到 75M 不等,同时放出约 3900 个训练中间检查点。模型覆盖不同 tokens 数量与规模配置,可供研究社区复现和分析语言模型训练过程。

2026-10-15 ~ 2026-10-15 · 2 条相关