Jeff Dean：看到 10 倍改进，就可能是下一个基础性想法——MoE 就是信号
dawnsongtweets · x · 2026-09-21
Jeff Dean 访谈系列第 3 段谈如何在众人之前识别基础性想法：
- 以 Mixture-of-Experts 为例，Jeff 当年注意到其训练算力-质量比比稠密模型好约 10 倍，这就是信号
- 「当你看到 10 倍的改进……它大概率会成为一个重要想法」
- 他随后抛出问题：今天的 AI 里，哪个是 10 倍级别的想法？
前文背景：Jeff 正在用 Discovery Loop 探索用 ML 改进 ML（递归自我改进），认为如今的变化在于范围——把架构、数据、评测、实验、反馈等改进 AI 的全流程日益自动化。
所属事件:Jeff Dean 离开 Google 后首谈：科研自动化与 AI 安全(9 条相关)→
「漫话AGI」频道最新
- Gemini 几乎自主完成「血染钟楼」社交推理 benchmark 实验 — eliebakouch · 2026-11-12
- Ramez 质疑 AI 时间线模型：OpenAI 与 GDM 实测远短于 METR 外推 — clarejtbirch · 2026-11-12
- Pedro Domingos 调侃「Dario 定律」：所需算力也在指数增长 — pmddomingos · 2026-11-12
- Jaron Lanier 纽约时报撰文：硅谷正用 AI 末日叙事搞砸自己 — databoydg · 2026-11-12
- AI agent 用得越多，瓶颈越是你自己：人类信息处理仅 10 bits/s — soumitrashukla9 · 2026-11-12
- Matt Pocock:能把业务讲清楚,AI 时代你就完成了半套自动化软件 — mattpocockuk · 2026-11-12