Sarah Hooker:GLM 5.3 全靠后训练,预训练时代正在终结
khademinori · x · 2026-10-19
Anthropic 研究员 Sarah Hooker 认为,「仅靠后训练就让 GLM 5.3 大幅跃升」是预训练走向终结的副产品,而非偶然事件。
- Transformer 已趋饱和,如今预训练的成果大多是调整数据配方,很难带来台阶式性能飞跃
- 创新重心正转向后训练与测试时计算(test-time compute)
- 这对行业竞争是好事:预训练把资源集中在少数有钱的大实验室手里,而后训练的 GPU 效率高得多——掌握专有数据的公司自己后训练,就能追平甚至超过部分闭源模型
- 她引用的案例称,GLM 5.3 完全由上一代模型后训练而来,与 5.2 相比 cyber 能力「天壤之别」,全部收益来自后训练
「模型」频道最新
- 本地 Qwen 为何比 ChatGPT 慢?Reddit 热议推理速度差异 — dhtp2018 · 2026-10-19
- Andrew Carr:让 Argon 输出 100 万 token,说服了三次才成功 — andrew_n_carr · 2026-10-19
- 数学家再抛争议观点：LLM 只会插值，发现不了黎曼猜想级新数学 — burny_tech · 2026-10-19
- 时区换算是他留给 Google 的最后一个用例，如今也被 LLM 取代 — shauseth · 2026-10-19
- Qwen Image 2.1 默认工作流的提示词增强器被吐槽「是个笑话」 — dtdisapointingresult · 2026-10-19
- 93 模型实测 1.5 年：蒸馏+量化+RL 或损害通用能力，DeepSeek 某版垫底 — Afinetheorem · 2026-10-19