Ofir Press：人类基线时代终结，现在是设计基准的新方法论
OfirPress · x · 2026-10-13
AI2/普林斯顿研究员 Ofir Press 指出，过去人类水平 AI 时代，我们可以把人类任务直接转成 benchmark，并习惯告诉别人三件事：任务是什么、最强模型解决率多少、人类解决率多少。但在许多领域（尤其编码相关任务）这套做法已经行不通——这些任务对人类来说太难了，用合理时间人类在这些编码基准上得分会是 0%。
因此「人类基线时代已经结束（部分子领域）」，他发布了在这个新时代如何构建 benchmark 的指南。
所属事件:Ofir Press：人类基线终结，AI 基准设计需要新方法论(2 条相关)→
「研究」频道最新
- 9.63 美元跑完凤凰城 20 万张航拍图，土地利用分类准确率 98.8% — inductionheads · 2026-10-13
- ViDiHand 入选 NeurIPS Spotlight:视频扩散模型秒做 3D 手部动作捕捉 — XingangP · 2026-10-13
- 11 个多模态 LLM 实测:装上工具后拒答有害请求能力最多降 68.7% — lateinteraction · 2026-10-13
- NYT Connections 扩展榜:Muse Wonder 得 93.4 分居前列但费用最贵之一 — zero0_one1 · 2026-10-13
- Polymarket 押注：AI 研发的皮肤癌疫苗获 FDA 批准概率 67% — Polymarket · 2026-10-13
- 学者质疑「一个世界模型覆盖多领域」说法：领域专属训练不该如此宣称 — DrMorganLevine · 2026-10-13