Toby Ord 实测：RL 算力翻万倍才能把推理基准从 20% 提到 80%
tobyordoxford · x · 2026-11-14
哲学家 Toby Ord 在 X 上分享了自己对 RL 算力与推理能力关系的初步拟合观察。核心发现：在多个推理基准上，RL 训练算力大约需要 1 万倍增长才能把成绩从 20% 提升到 80%，对应幂律指数约 0.3（odds ∝ RLcompute^0.3）。
- 配图为 AIME (2022/2023) 训练过程中的 Pass@1 对算力曲线，横跨约 4 个数量级（10^-4 到 10^0）
- 图中同时标注 OpenAI o1 与 o3 的轨迹，o3 明显位于趋势线上方
- 虚线为「20%→80% 需 10000 倍」的参考斜率，与实际曲线走势吻合
作者注明这只是初步把玩得出的观察，但为 RL scaling 的边际收益递减速度提供了一个具体的量化标尺。
所属事件:牛津学者 Toby Ord：RL 算力翻万倍才推升基准成绩(17 条相关)→
「研究」频道最新
- NeurIPS 最佳论文：扩散模型训练约 300 步/图后才开始记忆训练集 — Mastbubbles · 2026-11-14
- TestPrune:只跑相关回归测试,破解 AI 自动修 bug 的验证瓶颈 — burkov · 2026-11-14
- 幼儿只能从会回应的对象学新词,研究呼吁用响应式 AI 复测 — AnnaCiaunica · 2026-11-14
- Databricks 基准：上下文层让数据 agent 准确率 91% 远超前沿模型 58% — CautiousUse8597 · 2026-11-14
- MIT 教授将谈 AI 科学发现:智能体蜂群自主研究超材料 — ProfBuehlerMIT · 2026-11-14
- Walden 演讲：基座模型快速变强，中训练数据正被商品化 — ZeYanjie · 2026-11-14