Toby Ord 谈 METR 报告:基准误差棒为何近年显著变大
tobyordoxford · x · 2026-11-06
牛津哲学家 Toby Ord 讨论 AI 能力评测中误差棒近年明显扩大的问题,并给出两点解释:
- 缺乏足够难的 benchmark
- 缺少能力相近的其他模型来校准基准难度
他提到 METR 的报告对此有详细论述,但自己尚未完全消化。
所属事件:牛津哲学家谈 AI 能力评测误差棒扩大之谜(2 条相关)→
「模型」频道最新
- Bittensor 矿工网络训出决策模型 REAX 1.3 并开源 — const_reborn · 2026-11-06
- Bittensor 去中心化实验室发布开源决策模型 REAX 1.3 — const_reborn · 2026-11-06
- Kimi K3.1 Pro 跑分 WeirdML v3 得 9.9%,超 Kimi-K3 仍落后 Claude — scaling01 · 2026-11-06
- 传 GLM-5.5 将推 32B 与 122B 两档,社区人士简短回应 — TheZachMueller · 2026-11-06
- 用户晒截图感叹 Anthropic 周额度近乎「无限 tokens」 — StewartalsopIII · 2026-11-06
- Leonie 分享「构建决策模型」演讲全套幻灯片与开源示例 — helloiamleonie · 2026-11-06