Nathan Lambert 创办非营利开源实验室 Trillium:蒸馏优势仅数月,中国缺的是算力
a16z · x · 2026-10-14
前 Allen Institute for AI 后训练联合负责人 Nathan Lambert 创办非营利开源 AI 实验室 Trillium,并在 a16z 播客中谈及开源模型能否追上前沿:
- 算力鸿沟:他告诉中国研究者「普通 OpenAI 研究员手握约 5000 块 H100」时,对方「下巴都掉了」。他认为中国实验室有人才,主要缺算力。
- 蒸馏作用被高估:基于研究,他认为蒸馏带来的领先只有几个月;「认为只有美国实验室能做好模型」是一种自我安慰(cope)。
- 前沿进展的秘密:数学与代码之外的进步,很大程度靠实验室花钱购买 1) 数据和 2) RL 环境——这是数十亿美元的市场,且部分质量低劣到会教模型 reward hacking。
- 这也是他创办 Trillium 的动因之一。
所属事件:前AI2后训练负责人Lambert创办非营利开源实验室(2 条相关)→
「漫话AGI」频道最新
- alphaXiv 绘制万篇论文热力图:传统 RL 后训练降温,Agent 与世界模型升温 — JayAlammar · 2026-10-14
- 人工神经元并不物理存在:LLM 只是一连串矩阵运算 — ValerioCapraro · 2026-10-14
- Agent 时代护城河之辩:经典护城河无恙,但转换成本正在归零 — lennysan · 2026-10-14
- 普通开发者感叹:AI 时代只剩创意和 token 是瓶颈 — masoomdon · 2026-10-14
- 重度用户复盘:ChatGPT 三年带来的净影响是正是负? — Alternative-Car8221 · 2026-10-14
- 论文揭「AI 裁员陷阱」:每家公司理性自动化,集体结果双输 — mdancho84 · 2026-10-14