METR 时间跨度被高估?Toby Ord 指出硬任务占比影响巨大
tobyordoxford · x · 2026-11-09
Toby Ord 回复 Basil Halperin 对 METR 时间跨度研究的总结,提出一个关键疑问:如果存在相当比例 agent 根本做不好的任务(例如 25%),它们会大幅拉低 80% 准确率对应的时间跨度,影响远超那些 agent 能做好的中等任务(如 50% 档)。这一讨论延续了 OpenAI 在 AI R&D 任务上时间跨度被测得更短的争议。
所属事件:Toby Ord 质疑 METR 时间跨度研究被高估(2 条相关)→
「漫话AGI」频道最新
- METR 称已获「确凿证据」:AI 正加速前沿研究,细节因涉密被删 — peterwildeford · 2026-11-09
- Google Brain 创始人:前沿模型+大量测试时算力正成为科学发现引擎 — gdb · 2026-11-09
- zetalyrae:长期记忆之于搜索,如同 L1 缓存之于内存 — zetalyrae · 2026-11-09
- AI 时代护城河加速消失:数年积累几天被复制 — DeryaTR_ · 2026-11-09
- Epoch AI 测算:2027 年算力可支撑上亿前沿 AI 智能体全天候工作 — Dr_Singularity · 2026-11-09
- Reddit 讨论+白皮书:反思算力军备竞赛,大厂巨额 AI 支出的风险 — ReportProfessional57 · 2026-11-09