研究者质疑「任务时长」指标:p50/p99 因测量误差被高估
davidmanheim · x · 2026-11-11
METR 研究员 David Manheim 提出,以任务时长(horizon length)衡量模型能力在方法上并不自洽,并给出技术论证:
- p99 与 p50 本质同源,都基于对失败率的估计,但任务时长作为度量本身不连贯
- 随着可靠性提高,p50 与 p99 的差距会缩小;但由于测量误差,短任务上的成功率会在低于 100% 处触及上限
- 因此估计直线的斜率会导致 p50/p99 被大幅高估——这也部分解释了为什么相关报告只公布 p80
这是对当前流行的「AI 任务时长每几个月翻倍」叙事的重要方法论挑战。
所属事件:AI 时间线预测模型论战：高估指控与最佳工具辩护(16 条相关)→
「研究」频道最新
- 给 Qwen3-8B 聊出翅膀,探针可 100% 读出其内部指代 — Sauers_ · 2026-11-11
- Alice & Bob:约 2.5 万个 cat qubit 三天可破 RSA-2048 — AryHHAry · 2026-11-11
- Scandinavian Journal of Statistics 编辑撰文反思生成式 AI 时代的统计学出版 — michaelchchoi · 2026-11-11
- 用 ZKML 加形式化方法证明模型无后门，不必公开专有权重 — DimitrisPapail · 2026-11-11
- Claude Opus 5.5 自主设计架构搜索,发现新 Transformer 架构 AttnRes-Canon — SonglinYang4 · 2026-11-11
- 科研老手 5 条经验：倒读论文、复现优先、用 MCP 连接编码代理 — cneuralnetwork · 2026-11-11