误差棒过大:1 倍加速仍在置信区间内,AI 研究提速证据不足
tobyordoxford · x · 2026-11-06
tobyordoxford 讨论近期 AI 能力提升测量中误差棒过大的问题,认为原因可能是:
- 缺乏足够「硬」的 benchmark,难度不足以拉开差距;
- 缺少足够多能力相近的模型来校准 benchmark 难度。
他还指出,近期从 RSI(自我改进循环)推断出的加速在统计上仍无法确立——1.0 倍(即没有加速)的结果依然落在误差棒范围内,说明数据功效不足。他个人猜测确实存在加速,但目前难以用数据证明。
所属事件:牛津哲学家谈 AI 能力评测误差棒扩大之谜(2 条相关)→
「研究」频道最新
- 可训练[DUMP]前缀token减少检索嵌入表示干扰 — nlpai-lab · 2026-11-06
- Nace AI 开源 Drex 决策模型：27B 直出概率分布，183ms 挑战前沿 LLM — omarsar0 · 2026-11-06
- MIT教授davidbau驳「AI将超人类不可理解论」：请拿出一个不可想象的思想 — davidbau · 2026-11-06
- Surge AI 创始人发布 ComplexConstraints:模型最高仅得 40% — StewartalsopIII · 2026-11-06
- 研究：5 个 LLM 选目标远比 175 名人类狭窄，或收窄科学探索 — ValerioCapraro · 2026-11-06
- ICLR 2027 评审放榜，作者晒 3/3/2 分数 — mr_carlduke · 2026-11-06