ECI 线性增长对应指数增长:模型任务时长呈恒定风险率
tobyordoxford · x · 2026-11-14
牛津研究员 Toby Ord 在与 @ramez、@benjtodd 等人的讨论中解释了 ECI 指标的数学性质:ECI 对每个 benchmark 先做逆 logistic 变换,使 logistic 式增长看起来像线性增长。因此 ECI 的线性增长对应概率上的 logistic 增长,进而对应赔率(odds)的指数式增长。
他还补充说,在这一框架下用「恒定风险率」模型刻画任务时长(horizon length)时,时长与赔率成正比;不过他自认该简化模型可能并不完全准确。这段讨论涉及 AI 能力外推方法的核心争议:如何把 benchmark 成绩换算成对任务复杂度/时长的预测。
所属事件:牛津学者 Toby Ord:RL 算力翻万倍才推升基准成绩(17 条相关)→
「研究」频道最新
- NeurIPS 最佳论文:扩散模型训练约 300 步/图后才开始记忆训练集 — Mastbubbles · 2026-11-14
- TestPrune:只跑相关回归测试,破解 AI 自动修 bug 的验证瓶颈 — burkov · 2026-11-14
- 幼儿只能从会回应的对象学新词,研究呼吁用响应式 AI 复测 — AnnaCiaunica · 2026-11-14
- Databricks 基准:上下文层让数据 agent 准确率 91% 远超前沿模型 58% — CautiousUse8597 · 2026-11-14
- MIT 教授将谈 AI 科学发现:智能体蜂群自主研究超材料 — ProfBuehlerMIT · 2026-11-14
- Walden 演讲:基座模型快速变强,中训练数据正被商品化 — ZeYanjie · 2026-11-14