Palisade 研究员呼吁复活 METR 时间跨度图：别只盯 40 个 benchmark

JeffLadish · x · 2026-11-06

Palisade Research 的 Jeff Ladish 引用访谈表示，衡量 AI 进步的真正标准是 agent 能否实际完成工作，而不是堆砌 40 个 benchmark。他回忆早期 METR 让软件工程师执行长时程任务来测能力的做法，并称最大的一次能力跃升来自 Fable 模型发布前后——他从偶尔用 agent 变成每天用。

他进一步呼吁 METR 或其他机构恢复 METR 任务时间跨度（time horizon）估算图，覆盖新模型。他承认数周级别的长时程任务难以测量，但认为数周长度的任务肯定可以想办法测出来。