METR 实测:昂贵任务更难,但 AI agent 进步速率与便宜任务相当
CFGeek · x · 2026-11-21
METR 发布新的 agent 能力评测数据,研究者 slimshetty 转述并指出一个反直觉发现:他原本预期更昂贵、更模糊的任务上进展会明显放缓,但实际并非如此。
要点:
- 在同等任务长度下,agent 在更昂贵的任务上表现确实差一些
- 但「翻倍时间」(doubling time)衡量下的进步速率在便宜与昂贵任务上大致相同,即使更接近真实世界的任务也不例外
- 前沿模型在昂贵任务上的表现,已接近 OpenAI 报告的其内部研究使用场景的水平
这一结果意味着「难任务上能力进步会失速」的假设目前未被数据支持。
「模型」频道最新
- 谷歌黑五 AI 订阅最高 5 折,Antigravity 缓存优化让额度多干 20% 活 — op7418 · 2026-11-21
- 实测蚂蚁 Ling-3.2-flash:AI 写前端能自查视觉差异并修正 — sven_ai · 2026-11-21
- METR 新指数:仅 Anthropic 能力呈超指数加速,OpenAI 并未跟上 — peterwildeford · 2026-11-21
- Gary Marcus 公开信警告:别暗示 o1 跑数月就能造出抗癌药或证明黎曼猜想 — scaling01 · 2026-11-21
- Gemini 4 Neon 修复杂代码库比肩 Opus 5.5,平替可期 — op7418 · 2026-11-21
- Google AI Pro 用户额度突然归零:Antigravity 显示周限额 0%,4 天后刷新 — boyus · 2026-11-21