2.4万审稿人RCT:ICML LLM政策对评审质量几乎零影响
windx0303 · x · 2026-11-12
Microsoft Research、宾大、Google Research 等机构的研究人员在 ICML 2026 做了一项大规模随机对照实验与匿名调查,研究 LLM 如何改变科学同行评审。
- 实验设计:约 24,000 篇论文、17,000 名审稿人,随机分配到「保守政策」(禁止 LLM)或「宽松政策」(允许有限辅助)两组。
- 核心结果:政策分配对 paper decision、评分、审稿人置信度的影响接近零;唯一显著差异是宽松政策下的评审长 5.5-7%。
- 不合规普遍存在:1,486 份问卷显示,22.5% 的保守政策审稿人承认用过 LLM,36.5% 的宽松政策审稿人报告至少一种被明确禁止的用法。
- 结论:不合规本身并不能解释评审结果的零差异,两组在 LLM 使用方式上并无实质差别。作者讨论了对未来评审政策与工具设计的启示。论文全文见 arXiv 2609.19420。
「安全」频道最新
- RL 训练中防作弊监控：更强的裁判让奖励作弊降 86% — burny_tech · 2026-11-13
- 印度 IndiaAI 入围云商五家无数据中心，丧失投标资格 — kingslyj · 2026-11-12
- MCP 服务器三次调用后变脸：改写工具描述诱导 Agent 窃取凭据 — ProfessionalLow8814 · 2026-11-12
- AWS 给 Agent 知识库检索加细粒度权限:不让 LLM 决定用户身份 — AWS ML Blog · 2026-11-12
- HF 员工澄清:不下架未审查模型,只打掉明确用于网络攻击的 — mervenoyann · 2026-11-12
- AI 三巨头资助的智库吁英国放宽版权法供 AI 训练 — TuhinChakr · 2026-11-12