Cognition 首次披露 mid-training 配方，token 效率图选数据

carlesgelada · x · 2026-11-05

Cognition 训练负责人 Carles Gelada 分享了其新模型 mid-training 阶段的幕后心得：这是 Cognition 首次在 RL 之前加入 mid-training，用了数万亿 token 的代码、科学文章、博客等数据，并把最稀缺、最高质量的数据留到最后。
他重点展示了 token 效率图（token efficiency plots）这一做数据集消融的方法：对同一 baseline token 预算归一化后的 loss 曲线（配图显示不同数据混合在 1B–30B token 上 loss 曲线几乎重叠，但 token 效率可差到 0.8–1.15+），即在总 loss 差异看不出来时，也能分辨哪种数据配比学习效率更高。
这一技巧可用于在预训练数据配比消融中更灵敏地评估各数据源的真实价值。

「研究」频道最新