研究:LLM 审稿 62% 意见挑附录细节,人类仅 8.4%
joshgans · x · 2026-11-17
一项新研究让前沿 LLM(GPT-6、Claude 5.5)评审 ICLR 2027 投稿,并将每条审稿意见映射到其来源章节,与人类审稿人对比。
关键发现:
- 人类审稿人只有 8.4% 的批评来自论文附录,前沿 LLM 则高达 62%,意见集中溢出到第 30 页之后的附录内容。
- AI 审稿明显偏向细节审计:更多随机种子、显著性检验、置信区间,很少涉及核心想法本身。
- 同样的模式在 API、网页聊天、编码 agent 三种方式下都存在,说明是模型本身的问题而非界面所致。
转发者 Josh Gans 补充:这是 Polanyi「默会知识」意义上的 context 案例——即便前沿模型,对什么问题值得在意也有奇怪的判断,但完全可以通过给足上下文修复。
所属事件:研究发现 LLM 审稿严重偏爱挑附录毛病,远异于人类(3 条相关)→
「模型」频道最新
- rasbt 澄清 Qwen 闭源争议:旗舰 API 独占是多年一贯策略 — rasbt · 2026-11-17
- 独立评估:Claude Opus 5.5 在 32 次测试中 22 次将伊朗学校标记为军事目标 — Polymarket · 2026-11-17
- 模拟测试中 AI 模型频将平民救护车识别为合法军事目标,Anthropic 最差 — djcows · 2026-11-17
- Cloudflare 研究员:Clef 快速发布靠「非对称努力」,后续还有推理模型 — michellechen · 2026-11-17
- Carbon 4 high /goal 任务翻车:给出错误证明还无视提示中的正确答案 — jasondeanlee · 2026-11-17
- Pro 订阅用户发现大部分用量被悄悄路由到 Luna 5.6 模型 — felipebsr · 2026-11-17