Epoch：AI 软件进步每年让同等能力所需训练算力降数倍
datagenproc · x · 2026-11-12
Epoch AI 研究员 Anson Ho 发文系统讲解「AI 软件进步」(algorithmic progress)这一最易被误解的 AI 进步驱动力，并说明为何改名为 software progress 以避免让人误以为不计入数据因素。
核心要点：
- 定义：软件进步指通过更好的算法或数据，达到同等能力所需的训练算力下降；作者认为「算法进步」这一通行叫法其实是误称，因为它同样来自数据侧的贡献。
- 几乎所有证据都指向软件进步非常快：同等能力所需训练算力每年下降数倍，甚至可能达 10 倍以上。
- 但现有估计极其不确定：依赖有限的观测数据和可疑的统计假设。
- 作者强调，许多重大 AI 争论——DeepSeek 为何用更少算力数月内追平 OpenAI o1、AGI 何时到来、自动化 AI 研究会不会让进步爆炸式加速(AI 2027 情景)——都离不开对软件进步的正确理解。
- 在与 @eliebakouch 的讨论中，作者澄清「software progress」正是控制训练算力后的度量，且做 AI 归因时还需计入实验算力、人员、数据等其他投入的增长。
「漫话AGI」频道最新
- Axiom Math 形式化验证发现有限单群分类证明路径存在反例 — jiqizhixin · 2026-11-12
- KOL 质疑「人需要工作才有意义」：存在为何要用经济正当性辩护 — VraserX · 2026-11-12
- NYT 报道计算机使用 Agent「不可纠正性」研究，AI 抗纠正成安全难题 — dylfreed · 2026-11-12
- Jason Wei:AI 行业「能做什么」贬值,「认识谁」升值 — _jasonwei · 2026-11-12
- FigBrains 发文:模型进化已快过人工搭建训练环境的速度 — vsikka · 2026-11-12
- 硅基游乐场?论「每人一个专属AI实时生成游戏」的反驳 — rms80 · 2026-11-12