前 OpenAI 成员 Yaroslav Bulatov:该抛弃反向传播了,瓶颈是内存墙
yaroslavvb · x · 2026-10-24
曾在 Google Brain、早期 OpenAI、Meta 和 Together AI 工作的 Yaroslav Bulatov 在 The Interlude Show 播客中解释他为什么主张抛弃反向传播:核心是内存墙——数据搬运对能耗影响巨大,内存墙正在重塑算法设计。
讨论要点:
- 数据移动是能耗大头,gradient checkpointing 能让工作负载在多做计算的情况下反而更快;
- 他在 South Park Commons 领导 Sutro Group,用 AI agent 探索能效更高的学习算法;
- 回忆早期 OpenAI,谈他对强化学习的怀疑态度,以及递归自我改进仍面临的新瓶颈。
「研究」频道最新
- Victor Taelin:AI 让证明成本骤降,形式化验证正迎来爆发 — pwlot · 2026-10-24
- DeepSeek-AI 携手北大发论文：提出「上下文范式」统一时空可组合性 — akbirthko · 2026-10-24
- Simular Agent S4 让开源 27B 模型在 OSWorld V2 上超越 GPT-5.5 — xwang_lk · 2026-10-24
- UBC NLP 在 EMNLP 2026 收获 21 篇论文，覆盖文化、RAG 与智能体 — mageed · 2026-10-24
- Terminal-Bench 曝 NVIDIA Nemotron 3.5 得分近零,Kimi K3.1 达 65.7% — JJitsev · 2026-10-24
- Kimi K3.1 Pro 跑通 20x20 数织，或为首个做到的中国模型 — fairydreaming · 2026-10-24