arXiv 研究:LLM 审稿 50% 意见来自附录,人类仅 8.4%
TuhinChakr · x · 2026-11-17
arXiv 论文《AI Reviews Are Biased Towards the Appendix》分析了 ACL、EMNLP、COLM、ICLR 的 2000 篇论文,发现最新 GPT 与 Claude 模型在审稿时约 50% 以上的弱点意见来自附录,而人类审稿人只有 8.4%。
- LLM 的批评集中在附录深处的细枝末节:更多随机种子、显著性检验、置信区间,很少触及论文核心思想;人类批评则主要围绕表述与核心内容。
- 无论通过 API、网页聊天还是 coding agent,模式都一致,说明问题出在模型本身而非使用界面。
所属事件:研究发现 LLM 审稿严重偏爱挑附录毛病,远异于人类(3 条相关)→
「模型」频道最新
- 商汤 SenseNova-Loop-9B 上榜 trending,主打循环 Transformer 多模态 — sensenova · 2026-11-18
- 第三方测试指 Claude 曾大规模训练蛋白序列,其他前沿模型无此迹象 — AllThingsApx · 2026-11-18
- 12 月 ChatGPT 与 Codex 共享额度将至,Pro 用户盘算去留 — F1_average_enjoyer · 2026-11-18
- Terminal-Bench 4.0 榜单:Claude Sonnet 5.5 以 70.6% 居首 — NielsRogge · 2026-11-18
- rasbt 梳理预训练新趋势:放弃 LR decay,改用恒定学习率+检查点平均 — rasbt · 2026-11-18
- Mistral 新模型命名 Le Chonk 获赞,欧洲免费额度受好评 — TheTuringPost · 2026-11-17