Toby Ord：基准测试成绩难以外推到真实世界的 scaling 论证

tobyordoxford · x · 2026-10-21

牛津人类未来研究所研究员 Toby Ord 在与 Ramez、Tom Davidson 等人的讨论中指出：用近期模型的基准测试 scaling 结果来论证「计算回报率 r>1」存在巨大缺口——我们几乎没有能力精确刻画「效率收益作为基准分数的函数」这一关系，因此难以把基准上的结论迁移到真实世界 scaling 问题。

他主张应把效率增益视为基准性能得分的函数，这个函数可能是超线性的、甚至指数级的；训练和推理达到固定性能水平的效率提升显示了对人类研究者时间的超线性回报，但不能因此推出真实世界性能也只按对数增长。