研究者质疑 METR 评测：RSI 数字易刷分且难代表真实能力

gleech · x · 2026-11-06

Siddarth 转发并质疑 METR 关于 AI 驱动研发加速的结论：目前我们只知道某个 RSI（研发自促进）数字在上涨，但这些数字到底是什么、有多容易被 benchmark 刷分、能在多大程度上代表真实能力提升，都缺乏信息。他还指出，很难把「AI 驱动的研发加速」与「单纯堆更多预训练算力 + RL 带来的收益」区分开。作者认为 METR 在约束条件下已尽力，但当前呈现的信息实际用处不大。