Nathan Lambert 发布 51 页后训练前沿问题讲稿,聚焦开源困局
natolambert · x · 2026-11-21
Trillium Labs 执行总监 Nathan Lambert 在康奈尔大学的演讲幻灯片《Pushing Frontiers in Open Language Model Post-Training》上线(natolambert.com/cornell-2026)。要点:- 开源后训练的资源困境:完整的前沿级后训练正因资源需求变得像 2023 年初的预训练一样难以企及,可解但需要大量资金与投入。- 文献空白:开源后训练文献在关键思想上存在多年未填补的空白,是研究机会。- 内容结构:回顾后训练科学的历史与三大优化方法(SFT、RLHF/偏好微调、RLVR),讨论如何选择研究项目、AI 走向及 RSI 对这类研究方式的改变,并定位为 Trillium Labs 的研究目标宣言。引用 o1 AIME 准确率随训练时/测试时算力的提升数据。
「漫话AGI」频道最新
- KOL 感叹:人类知识机构早被蛀空,AI 只是揭开了遮羞布 — teortaxesTex · 2026-11-21
- Nathan Lambert 发布后训练六大开放问题讲稿,并阐明 Trillium Labs 目标 — natolambert · 2026-11-21
- AI 假「证明」争议发酵:批评者称虚假突破正摧毁学界研究动力 — teortaxesTex · 2026-11-21
- AI 辅助证明黎曼猜想疑被拒菲尔兹奖,引发数学界激烈争论 — GiorgioPatrini · 2026-11-21
- Gary Marcus 讽刺科技投资人亏惨后仍死抱黎曼猜想 AI 结果不放 — GaryMarcus · 2026-11-21
- 数学家炮圈:AI 解题争议背后的数学界守门文化该背锅 — IAmTimNguyen · 2026-11-21