kuchaev:ChatGPT、o1、Agent 都不是纯靠 scaling,靠的是训练栈创新
kuchaev · x · 2026-11-08
kuchaev 列举近期实例论证「进步来自训练方法创新而非单纯扩大规模」:
- ChatGPT 并非对 GPT-3 的 scaling 练习,关键在于对齐/RLHF 带来的范式跃迁;
- o1 等推理模型不是助手模型的简单放大,依赖后训练创新 RLVR;
- agentic 模型也不是推理模型的放大版,需要训练栈层面的创新。
作者认为创新会继续出现,即每一代「下一个 sigmoid」都由新的训练方法解锁,而非纯粹的规模堆叠。
「漫话AGI」频道最新
- Lobsters 热议:AI 流量正在毁掉普通开发者的上网体验 — vboykis · 2026-11-08
- 「造超级智能是道德义务?」博主提出人口规模级的未来生命论证 — VraserX · 2026-11-08
- jun_song:比 AI slop 更糟的是不懂 AI 却喊禁用的 human slop — TinfoilTricorn · 2026-11-08
- 开发者批评纪念文章:把 LLM 神元比作计算器是「零论证的安慰剂」 — mgostIH · 2026-11-08
- AI 安全讨论:应对自动化 AI 研发的对抗性欺骗评估构想 — dfrsrchtwts · 2026-11-08
- Pliny 反思:人类早已与「递归自我改进的超级智能」共存百万年 — ZeroStateReflex · 2026-11-08