牛津学者 Toby Ord:RL 算力翻万倍才推升基准成绩
牛津学者 Toby Ord 在与 Ramez、Ben Todd 等人关于 RL 算力扩展(RLcompute)与任务时长(horizon)关系的讨论中,提出了一组理论论证,核心结论是:模型可完成的任务时长可能随有效 RL 算力呈指数级增长。
已确认
- ECI(Extended Capability Index)对每个 benchmark 先做逆 logistic 变换,把概率上的 S 形(logistic)增长拉直成线性增长,这是该指标的数学构造,Ord 对此做了明确解释。
- Ord 指出 benchmark 得分(百分比)本质上是随机任务的成功概率,可改写为成功几率(odds)来分析;当成功率随时间呈 logistic 增长时,用 odds 表述则意味着 odds 在指数级上升。
- 由此他推导:ECI 的线性增长对应指数增长的能力,任务时长表现类似恒定风险率(hazard rate)的扩展过程,即 horizon 相对有效算力(或时间)呈指数扩展。
- 他还回应了针对 ECI 的质疑:批评者认为对数/逆 logistic 变换让逻辑斯蒂增长「显得像线性」,从而可能夸大趋势;Ord 的回应是,这一变换在数学上是分析 logistic 曲线的自然方式,用 odds 视角看增长确实是指数型的。
尚未确认
- horizon 随 RL 算力指数扩展是从指标数学性质推出的理论论证,是否在实际 benchmark 数据上成立仍有待经验验证,讨论中也存在对 ECI 变换可能扭曲趋势判断的质疑。
为什么重要
- 如果任务时长确实随 RL 算力指数增长,意味着 AI 可自主完成的连续任务长度会比线性预期快得多,对 AI 能力预测与安全规划都有直接影响;同时这场讨论也凸显了 ECI 这类聚合指标的方法论争议——变换方式的选择本身就可能影响人们对能力增长速度的判断。
2026-11-14 ~ 2026-11-14 · 17 条相关
一手来源
- Toby Ord 提出理论论证:任务时长或随 RL 算力呈指数扩展 — tobyordoxford ·
- ECI 线性增长对应指数增长:模型任务时长呈恒定风险率 — tobyordoxford ·
- Toby Ord:基准成功率若呈 logistic 增长,则胜算随时间指数提升 — tobyordoxford ·
- 牛津学者 Toby Ord 推演 RL 算力与任务时长长度的幂律关系 — tobyordoxford · 2026-11-14
- 【源头】Toby Ord 提出理论论证:任务时长或随 RL 算力呈指数扩展 — tobyordoxford · 2026-11-14
- Toby Ord 用几率视角论证:模型能力时间跨度或随 ECI 指数增长 — tobyordoxford · 2026-11-14
- 【源头】Toby Ord:基准成功率若呈 logistic 增长,则胜算随时间指数提升 — tobyordoxford · 2026-11-14
- ECI 基准指标遭质疑:对数变换让逻辑斯蒂增长显得像线性 — tobyordoxford · 2026-11-14
- 【源头】ECI 线性增长对应指数增长:模型任务时长呈恒定风险率 — tobyordoxford · 2026-11-14
- Toby Ord 推导 AI 任务时长:连续成功次数期望恰等于成功赔率 — tobyordoxford · 2026-11-14
- 哲学家 Toby Ord:Elo 线性增长,胜率实为指数增长 — tobyordoxford · 2026-11-14
- Toby Ord:Elo 与胜率是对数关系,ECI 同理可类比 — tobyordoxford · 2026-11-14
- DeepMind 研究员科普:ECI 与基准成功率是对数换算关系 — tobyordoxford · 2026-11-14
- 牛津研究员 Toby Ord 绘制算力-能力 logistic 曲线引热议 — tobyordoxford · 2026-11-14
- Toby Ord 推演:任务成功率随 log(compute) 呈指数增长 — tobyordoxford · 2026-11-14
- RL/推理/预训练算力斜率不同,对应不同幂律指数 — tobyordoxford · 2026-11-14
- Toby Ord 初步测算:RL、推理与预训练算力的 scaling 指数各不相同 — tobyordoxford · 2026-11-14
- Toby Ord 实测:RL 算力翻万倍才能把推理基准从 20% 提到 80% — tobyordoxford · 2026-11-14
- 牛津学者估算:预训练算力回报指数约 0.9,推理算力约 0.6 — tobyordoxford · 2026-11-14
另有 1 条近重复转述:tobyordoxford