METR 提出“支出天际线”评估智能体能力
METR 提出了一种名为“支出天际线”的新指标,用于衡量 AI 智能体与人类的能力差异。该方法将双方在连续评分和开放式优化任务上的表现映射到同一条预算曲线上,通过寻找预算消耗的拐点,来比较人类与智能体在完成同类任务时的成本效益。这为评估智能体的实际工作能力提供了新视角。
2026-07-22 ~ 2026-07-22 · 2 条相关
- METR提出支出天际线:比较人类与智能体的成本效率 — scaling01 · 2026-07-22
- 一种新指标用预算拐点比较人类与智能体能力 — littmath · 2026-07-22