HF 驱动 1200 人复现 2226 篇 ICML 论文,AI 评审与人类偏好显著分歧
evijit · x · 2026-10-07
两条相关线索拼出 AI 时代科研评审的图景:
Hugging Face 复现黑客松:1200+ 社区成员用自己的编码 agent 在 19 天里逐条复现 ICML 2026 论文,产出 6816 份 Trackio 日志,覆盖 2226 篇论文——约占会议论文的三分之一。背景:ICML 2026 收到 23918 投稿、录用 6352 篇(约翻倍,部分归因于 agent 加速实验),而志愿者审稿能力没跟上,甚至有 spotlight 论文的审稿人自述「没有仔细检查证明」。HF 还真去仔细查了那篇论文的证明,结果值得读原文。
AI Awards 实验:evijit 与 seungonekim 用 AI 给全部 6617 篇 ICML 2026 论文打分,发现:
- 人类与 AI 的评审偏好显著分歧
- AI 评审高度受网络热度(hype)影响
- AI 偏好「可感知的影响力与跨场景泛化」,人类更偏好新颖性
- 4 个 AI 之间的一致性相当高
「漫话AGI」频道最新
- 视频:《AI 的形而上学不可能性》,探讨 AI 意识边界 — ReallyNotARussianSpy · 2026-10-07
- 超级预测员+AI「半人马」组合仅险胜纯 AI 预测系统 — random_walker · 2026-10-07
- Matt Shumer 观察:野心党工时更长,躺平党躺得更稳 — mattshumer_ · 2026-10-07
- 用 Claude 建模测算:机器人和 AI 能撑起多大规模的 UBI — Competitive_Travel16 · 2026-10-07
- Grady Booch 对比:LLM 单柱结构远逊于人脑 240 万皮层柱 — Grady_Booch · 2026-10-07
- 10 万人 AI 议题游行拟用保障合同组织,或创史上最大规模 — DKokotajlo · 2026-10-07