牛津学者 Toby Ord:基准 scaling 难外推真实世界收益
牛津人类未来研究所研究员 Toby Ord 在关于递归自我改进(RSI)的讨论中指出方法论困境:用近期模型的基准测试 scaling 结果论证「计算回报率 r>1」难以外推到真实世界,预训练 Scaling 就曾出现 Kaplan 与 Chinchilla 定律的类似误判,基准误差增长未必能换算成现实收益。他还提出技术猜想:模型通过更长思维链(CoT)获得的效率提升可能遵循幂律,使 RSI 文献中的关键参数 β 保持恒定。
2026-10-21 ~ 2026-10-21 · 4 条相关
- Toby Ord:基准测试成绩难以外推到真实世界的 scaling 论证 — tobyordoxford · 2026-10-21
- Toby Ord:预训练 Scaling 曾误判,基准成绩难换算成现实收益 — tobyordoxford · 2026-10-21
- 研究员论 RSI 规模化:误差换收入曲线或复现预训练规律 — tobyordoxford · 2026-10-21
- 牛津学者论 CoT 效率缩放:或遵循幂律,RSI 参数 β 恒定 — tobyordoxford · 2026-10-21