Daniel Kokotajlo:预训练 loss 是可检验任务,几乎代理一切下游能力
nitarshan · x · 2026-11-13
前 OpenAI 研究员、AI 2027 作者 Daniel Kokotajlo 论证「可检验任务」(checkable tasks)对 AI 进步的意义:
- 预训练 loss 是一个可检验任务,却是几乎所有下游技能的极好代理指标——把 loss 做低的模型,大概率在各类任务上全面变强。
- 更普遍地,过去几年 AI 在几乎所有事情上都在进步,包括未被专门训练的领域:比如 Claude Plays Pokemon(从未训练过 Pokemon)、对抗性极强且充满噪声的 Blood on the Clocktower 桌游,前沿模型都在快速变强。
- 他还指出「可检验任务」并非二元划分,也不是天然范畴,本质上是一个连续变量——衡量 AI 公司去验证/评估某个任务要花多少成本和时间。
这是对「可检验性驱动进步」论的延伸回应,属 AGI 走向的实质性观点辩论。
「漫话AGI」频道最新
- ChatGPT 手握 12 亿 WAU，最被低估的消费级 Agent 玩家 — omooretweets · 2026-11-13
- AI 能写完一生的代码后，软件依赖会是更安全还是更危险？ — bendee983 · 2026-11-13
- Starzyk 与 Galus 论文:语言只是「非必需层」,机器意识需内部需求驱动 — alex_verem · 2026-11-13
- Every 工程主管谈 Compound Engineering：AI 是帮你思考，不是替你思考 — every · 2026-11-13
- Every 工程师宣称「不看代码、不做 PR」：AI 时代的工程师新形态 — every · 2026-11-13
- 没人真正掌控文明，AI 或是对抗熵的唯一杠杆 — repligate · 2026-11-13