Ethan Mollick:前沿 AI 评测正失去人类基准参照
emollick · x · 2026-07-31
沃顿商学院教授 Ethan Mollick 指出,随着测试前沿 AI 能力的基准测试变得越来越复杂,业界正在失去基准测试中最重要的环节之一:与人类的对比。
他认为,经过验证的基准测试必须包含人类(理想情况下是多个人类)的基准线作为参照。尽管现在获取这些人类基准线变得越来越困难且昂贵,但这对于准确评估 AI 的真实能力至关重要。他还列举了目前尚未饱和的基准测试,包括 ARC-AGI、GDPval 以及 METR 长周期任务等。
所属事件:前沿AI评测缺失人类基准，人机协同评估成新焦点(4 条相关)→
「漫话AGI」频道最新
- 首篇论文即中 NeurIPS spotlight:多智能体集群安全研究 — LauraRuis · 2026-10-16
- Yoav Artzi 谈顶会评审：投稿洪流仍在加大，中位段论文评审随机性最高 — yoavartzi · 2026-10-16
- Letta 创始人：要在由问题定义的领域工作，而非由方法定义的领域 — lateinteraction · 2026-10-16
- 研究者预测：纯数学家将大量涌入 AI 存在性风险讨论圈 — Dr_Atoosa · 2026-10-16
- 用模型输出增强下一代训练数据,RSI 其实早已开始 — akbirthko · 2026-10-16
- Luiza Jarovsky：AI 时代职业前景难测，家长建议孩子不如「做所爱之事」 — LuizaJarovsky · 2026-10-16