Nathan Lambert 发布 51 页后训练前沿问题讲稿,聚焦开源困局

natolambert · x · 2026-11-21

Trillium Labs 执行总监 Nathan Lambert 在康奈尔大学的演讲幻灯片《Pushing Frontiers in Open Language Model Post-Training》上线(natolambert.com/cornell-2026)。要点:- 开源后训练的资源困境:完整的前沿级后训练正因资源需求变得像 2023 年初的预训练一样难以企及,可解但需要大量资金与投入。- 文献空白:开源后训练文献在关键思想上存在多年未填补的空白,是研究机会。- 内容结构:回顾后训练科学的历史与三大优化方法(SFT、RLHF/偏好微调、RLVR),讨论如何选择研究项目、AI 走向及 RSI 对这类研究方式的改变,并定位为 Trillium Labs 的研究目标宣言。引用 o1 AIME 准确率随训练时/测试时算力的提升数据。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →