Palisade 研究员:别看 40 个基准,问 agent 能否真把活干完
FinanceYF5 · x · 2026-11-06
Palisade Research 研究员 Jeff Ladish 批评当前 AI 能力衡量方式:与其盯 40 个基准测试,真正该问的是 agent 能不能自主完成有经济价值的真实工作。
他的几个关键观点:
- 对他个人最大的能力跳跃发生在 Anthropic 6 月发布的 Fable 模型前后:「Fable 之前和之后差别巨大,我从有时候用 agent,变成了每天都在用。」
- 过去衡量长周期任务能力主要靠 METR 请软件工程师做评估,而不是跑基准。
- 他最想看到的是「带我们去 Anthropic 看看,一个 Anthropic 工程师每天用多少个 agent,实际是什么样子」,并呼吁回到「用真实的、有经济价值的工作检验 AI 能否自主完成」的评估范式。
所属事件:Palisade 研究员：别只盯基准，看 agent 能否真干活(2 条相关)→
「漫话AGI」频道最新
- Balaji 嘲讽 Anthropic/OpenAI：搞安全恐慌，如今自食其果 — beffjezos · 2026-11-06
- David Patterson 预估:明年经济产出将增长 25% — davidpattersonx · 2026-11-06
- 研究员警告「渐进式去权化」：模型构建方式或使人类丧失能动性 — nitarshan · 2026-11-06
- 「AI 必然统治未来」是伪命题：AI 的形态是我们主动的选择 — anshulkundaje · 2026-11-06
- Pierce Lilholt：AI 能消灭人类工作，却消不掉人类债务 — PierceLilholt · 2026-11-06
- Polymarket 民调:56% 选民称 AI 与数据中心影响中期选举投票 — KyeGomezB · 2026-11-06