Epoch AI 剖析 OSWorld:任务简单、不稳定,GUI 能力测不准
gleech · x · 2026-11-06
Epoch AI 发布对计算机使用基准 OSWorld 的评审文章,指出多项结构性缺陷:
- 361 个任务偏简单,饱和只意味着模型能在 Linux 环境用开源软件完成基础操作(加页码、导出 CSV 等);
- 基准不稳定:7 月大更新改动了大多数任务指令,此后仍有约 10% 指令在持续修改,跨时间对比困难;
- 约 10% 任务依赖互联网实时数据,难度随网站变化漂移;
- 大部分任务几乎不需要 GUI——约 15% 只需终端,另有 30% 可绕过 GUI 完成,因此分数难以反映真正的图形界面操作能力;
- 污染风险中等,存在公开测试集、标签噪声等问题。
gleech 借此批评相关基准(MMMLU 只是 MMLU 换皮)外部效度差,以此质疑 METR AECI 加速曲线 y 轴的意义。
「模型」频道最新
- Kimi K3.1 与腾讯 Hy4 被指阉割开源模型网络安全能力 — Fresh_Sun_1017 · 2026-11-06
- METR 新图争议:内部证据不算科学证据但仍是证据 — gleech · 2026-11-06
- 每日简报:GPT-6.2 曝光、Claude 推理财助手、METR 称模型进度加速 1.9 倍 — testingcatalog · 2026-11-06
- METR 报告研究员引语其实偏乐观:Opus 4.5 编码+加速迭代 — gleech · 2026-11-06
- 28849 次测试横评 9 款编码 Agent 框架，最大差距 24 分 — victor_explore · 2026-11-06
- 腾讯 Hy4 设计基准排第4,距 GPT-6.1 Sol 仅差0.1分且便宜41% — ShunyuYao12 · 2026-11-06