ICML 论文放出 108 个 OLMo 风格小模型(4M–75M)及约 3900 个检查点
BrihiJ · x · 2026-10-15
dill-lab 将其 ICML 2026 论文训练的 108 个 OLMo 风格语言模型(规模 4M–75M)全部公开在 Hugging Face GeoLadder 合集。
模型覆盖 token 数、batch size、学习率、weight decay 与 LR decay 的受控扫描,并附带约 3900 个中间检查点,为研究训练动力学与 scaling 规律提供了完整的受控实验数据。
所属事件:dill-lab 开源 108 个小语言模型及约 3900 个检查点(2 条相关)→
「研究」频道最新
- OpenAI 证明引连锁反应，Bhargava 证明原根正密度定理 — Singularitarian · 2026-10-15
- Applied Compute 推出 Spork：国际象棋解题率较 GRPO 提升 100% — ypatil125 · 2026-10-15
- AAAI《AI Magazine》2026 秋季刊上线，收录超 20 篇文章 — FrnkNlsn · 2026-10-15
- WTF 流图方法实现免模拟 RL 微调，训练算力省 280 倍 — yeewhye · 2026-10-15
- 几何自注意力新方法：2K 上下文状态小 14000 倍且 CE 更优 — iskander · 2026-10-15
- 斯坦福发布 CausalSmith：用 Lean 自动化因果推断理论研究 — StanfordAILab · 2026-10-15