Scaling 曲线或为超线性:LessWrong 论战称斜率持续变陡

teortaxesTex · x · 2026-11-08

围绕 AI 进展 scaling 曲线的讨论持续发酵。Thomas Kwa 在 LessWrong Shortform 中提出:过去深度学习史上已出现第 4-5 次「一次性提速」,若斜率每隔几个数量级就再度变陡,更可能的解释是底层进程本身是超线性的(如 S 曲线的超线性叠加),而非简单的多段线性区间;噪声把趋势切割成约 3 段线性,数据甚至不排除近期斜率已达 4 倍。

teortaxesTex 引用该观点表示认同,但同时对配图本身持保留态度,称制图颇为粗糙、近乎 shitpost——图上许多强模型分数快速上升,他需要查看数据确认交叉区间。图源自 Nikola Jurkovic,由时间跨度与 ECI 指标拼接而成,外推的时间跨度数字并不可靠。