Toby Ord：预训练 Scaling 曾误判，基准成绩难换算成现实收益

tobyordoxford · x · 2026-10-21

牛津哲学家 Toby Ord 在 ramez 的 RSI 讨论串中指出一个方法论困境：预训练 Scaling 曾有类似情况——Kaplan 与 Chinchilla 定律显示误差随算力下降极慢（约 compute^1/20），但误差到收入的转化函数非常陡峭（约 error^-20）。

他强调：当试图从近期模型的基准 Scaling 结果论证 r>1（自我改进能否自持）时，存在巨大缺口——我们几乎没有能力确定『基准误差→现实世界收益』的转化函数，因此无法把基准结果直接迁移到现实 Scaling 问题。