Ofir Press 提出新时代基准设计三原则:任务须让人类团队做数年
OfirPress · x · 2026-10-13
AI 基准研究者 Ofir Press 提出：在人类水平 AI 时代，许多人类任务已被模型轻松完成，无法再直接把人类任务翻译成基准。他在新文中给出构建这个新时代基准的三条准则：
- 使用需要人类团队花数年甚至数十年才能解决的任务；
- 采用现实中人类真正必须解决的真实任务，而非编造或让人为模型造题；
- 选能从网络规模化爬取的任务。
所属事件:Ofir Press：人类基线终结，AI 基准设计需要新方法论(2 条相关)→
「研究」频道最新
- OncologyBench 完整榜单:Anthropic 包揽前六,Kimi K3 居非 Claude 首位 — kenbwork · 2026-10-14
- Latch 发布 OncologyBench:最强模型肿瘤决策通过率仅 40% — kenbwork · 2026-10-14
- 谷歌 Gemini 4 Argon 机器人版:4500 次仿真训练把成功率从 56% 提到 75% — DynamicWebPaige · 2026-10-14
- Alex Wa 长文拆解七家前沿模型训练方法论:MoE、数据与训练配方对比 — goyal__pramod · 2026-10-14
- OccludeBench:遮挡线索让 VLM 成绩直降 20% — liuzhuang1234 · 2026-10-14
- OpenMined 资助 AI 集成与路由研究:每人 2000 美元津贴加 5000 美元算力 — iamtrask · 2026-10-14