让 AI 当 Area Chair:给 ICML 全部 6617 篇论文排名,与人类选择严重分歧
ShayneRedford · x · 2026-10-07
Shayne Redford 与 Seungone Kim 让语言模型担任 Area Chair，对 ICML 2026 全部 6617 篇录用论文匿名排名（不看作者、人类评审分数），并与人类 AC 的 oral/spotlight 决策对比。核心发现：
- 人类与 AI 的口味显著分歧，一致性很弱
- AI 高度受网络热度影响
- AI 偏好「可感知影响力大、跨场景泛化强」的论文，人类更看重新颖性
- 不同 AI 模型之间的一致度反而较高
研究动机是随着 autoresearch / AI scientist 兴起，理解 AI 系统「偏爱什么样的研究」。作者明确表示并非提倡 AI 当 AC，而是想把 AI 已深度介入科研流程带来的系统性偏见风险显性化。
所属事件:让 AI 当 ICML 审稿主席：6617 篇论文排名与人类严重分歧(5 条相关)→
「漫话AGI」频道最新
- 数学家谈 LLM 使用规范:过渡期无共识,抢首发难获认可 — littmath · 2026-10-07
- 黄仁勋成 AI 末日论最大反方：称 Altman、Amodei 叙事「不负责任」 — AlexTensor · 2026-10-07
- 别急着「自我重塑」，你缺的是一两年的财务缓冲 — alexeyguzey · 2026-10-07
- 观点：中国在玩另一局AI游戏，靠分发而非最强模型取胜 — ingliguori · 2026-10-07
- AI 圈争论：把「有个想法」当成「做出了东西」是集体错觉 — CatAstro_Piyush · 2026-10-07
- 神经科学家激辩:经典计算模型遗漏的脑特性可能与意识相关 — eschwitz · 2026-10-07