Scott Alexander 论战 Pinker:LLM scaling 曲线到底是指数还是幂律
sebkrier · x · 2026-11-09
一条长推逐段点评 Scott Alexander 与 Steven Pinker 之间关于 scaling 的争论，核心指控是概念混用：Scott 先为「指数级 scaling」辩护，随后展示了一条指数上升的图，却又转而谈 scaling laws。
发帖人指出数学上的关键事实：LLM 的 scaling laws 在渐近意义上全是逆幂律，收敛于噪声底，从来不是指数。因此「LLM 进步是否指数级」完全取决于你选什么测量口径——对损失(loss)而言是幂律，而对能力/基准等下游指标则可能呈现出指数状。
这条争论的价值在于点破了 AI 进步辩论中常见的误区：把「损失曲线的幂律下降」与「能力随投入的指数涌现」混为一谈，双方各执一图，实际上说的是不同的量。
「漫话AGI」频道最新
- AI 安全圈版宫崎骏之叹：只研究 Claude 就只剩局部最优 — JacquesThibs · 2026-11-09
- 安全圈还在喊「打补丁别联网」,作者批 AI 网络超级武器时代零创新 — HankYeomans · 2026-11-09
- 从认吉娃娃到纠结折射：十年间 AI 视频期望的疯狂跃迁 — korymath · 2026-11-09
- 多智能体安全新思路：身份、声誉与集体激励 — Competitive_Travel16 · 2026-11-09
- Larry Page 预测 99.999% 算力终将上天,Musk 力挺 — elonmusk · 2026-11-09
- AI 伦理争论:用数字衡量人命是否越界,Timnit Gebru 引爆分歧 — austinc3301 · 2026-11-09