Core Automation 创始人称，真正瓶颈已不是规模而是 transformer 架构
Training Data (Sequoia) · rss · 2026-07-29
Sequoia 这期访谈里，Jerry Tworek 和 Rohan Anil 的核心判断是：更聪明系统的下一道瓶颈可能不再是算力规模，而是架构本身。
他们的主要观点
- Jerry Tworek 曾在 OpenAI 负责 reasoning，他认为把强化学习规模继续放大，是通往 AGI 的一条路径。
- Rohan Anil 曾共同负责 Gemini 预训练，并开发了 Shampoo 优化器。
- 两人在 Core Automation 里提出：transformer 可能已经把当前范式推进到了极限。
为什么他们觉得现有栈卡住了
- 真正缺的是 continual learning，也就是模型在 test time 继续适应的能力。
- in-context learning 很快就会到头，文中举的例子是 Codex 大约 20 分钟后就需要压缩上下文。
- fine-tuning 又会带来 catastrophic forgetting。
- 他们主张把 pre-training 和 RL 做端到端优化，并认为 transformer 的算力利用效率不高。
公司层面的判断
他们还解释了为什么前沿实验室在 coding-agent 竞赛里，未必会主动去追新架构；而他们自己的目标，是打造“世界上最自动化的实验室”。其中一个具体方向是自动生成 kernel，因为在这一步上，前沿模型仍然会输给高水平的人类。
「漫话AGI」频道最新
- AI/ML 更像研究变化的学科，而非静态知识 — burny_tech · 2026-07-29
- 一条转发追问：前沿 AI 的“节奏控制”怎么落地 — TheTuringPost · 2026-07-29
- AI 大厂公开同时站队开放权重和更强前沿监管 — Full_Tangelo_7450 · 2026-07-29
- 播客称 OpenAI 研究显示 20% 的 ChatGPT 对话与教育相关 — 3scorciav · 2026-07-29
- AI 未必毁灭人类，但会把判断力磨钝 — AryHHAry · 2026-07-29
- OpenAI 与 Anthropic 员工支持放缓，但 AI 竞速仍难减速 — iruletheworldmo · 2026-07-29