前沿实验室 90% 算力已转向后训练与推理,预训练语料枯竭
rbhar90 · x · 2026-10-07
一条引发广泛共鸣的行业观察指出,传统预训练正在走向终结:多位实验室内部人士几乎不再谈论预训练,模型提升主要来自可 RL 的任务、后训练与持续学习(test-time training)。
- Ilya 此前也表达过类似判断:预训练语料已被耗尽
- Sutskever 的 socialcapital 引述称,前沿实验室约 90% 的算力现在投向后训练与推理
- 这解释了为何模型在数学/编程(可 RL 化领域)评测上进步明显,而在更通用、难以 RL 化的领域似乎停滞
- 各实验室重金投入构建 RL 环境,目的就是抹平模型能力的「偏科」(spikiness)
所属事件:前沿实验室 90% 算力转向后训练与推理,预训练时代落幕(4 条相关)→
「漫话AGI」频道最新
- 数学家自嘲：AI 论文像 Collatz 猜想，永远读不完 — AlexKontorovich · 2026-10-07
- OpenAI 未发布模型一口气产出 722 篇数学成果，占近三年重大发现 81% — Exponential View (Azeem Azhar) · 2026-10-07
- 模型终将可替换，Agent 系统真正的护城河是连续性 — tallmetommy · 2026-10-07
- IDAI 获 ARIA 资助开发 dovetail,解决 AI 智能体间互信难题 — sebkrier · 2026-10-07
- Afinetheorem 押注 2028 年前 AI 能提出 Shannon 级原创问题 — Afinetheorem · 2026-10-07
- 作者预言：想在 AI 时代不掉队，脑机增强或成必需品 — danfaggella · 2026-10-07