Hugging Face 放出 SmolLM3 mid-training 检查点,回应 200 倍效率之争

eliebakouch · x · 2026-08-20

SmolLM3 作者 eliebakouch 宣布已发布 SFT 之前的 mid-training 检查点(SmolLM3-3B-checkpoints 的 it-mid-training 分支,Apache-2.0,约 6.17GB),建议后续工作从这个 checkpoint 起步,并预期新方法能轻松超过它(毕竟是约一年前的检查点)。同时他认为「200 倍」的说法有些夸大,但认可工作本身不错,也同意 mid-training token 与最终 SFT 数据的影响力不应等量齐观。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →