ICML 论文开源 108 个 OLMo 风格小模型，含约 3900 个中间检查点
BrihiJ · x · 2026-10-15
dill-lab 团队在 ICML 2026 论文配套下，将 108 个 OLMo 风格语言模型（4M–75M 参数）公开在 HuggingFace。模型在 tokens 数量、batch size、学习率、weight decay 和 LR decay 等超参上做了受控扫描训练，并附约 3900 个中间检查点。
这批资源可用于系统研究超参数对小型模型缩放与训练动态的影响，对做缩放律和训练消融的研究者是一份可复用的实验材料。
所属事件:dill-lab 开源 108 个小语言模型及约 3900 个检查点(2 条相关)→
「研究」频道最新
- MiniMax 论文里的 CISPO:为什么保住纠错 token 就能稳住 RL 训练 — andrew_n_carr · 2026-10-15
- 为何 RL 难有 scaling laws：预训练优化 loss，开放式优化面向整个光锥 — akbirthko · 2026-10-15
- zPocket 开源发布:共折叠特征将口袋预测 AUPRC 提至 0.745 — LotfiSanae · 2026-10-15
- 500 问实测 Gemini:点名产品时 78% 联网搜索,只描述需求时仅 7% — MattWags_33 · 2026-10-15
- NCM 新范式：比扩散语言模型快 31 倍且质量更优 — simonguozirui · 2026-10-15
- UC Berkeley 获 Google.org 170 万美元资助，用 AI 加速医学发现 — 2plus2make5 · 2026-10-15