13万篇论文62万项改动复盘:26%按论文自身数据并无帮助
latenticlabs · reddit · 2026-11-17
Latentic Labs 全文精读 126,758 篇顶会/顶刊论文(ICML、NeurIPS、ICLR、CVPR、AAAI、JMLR 等,2016–2026),提取并统计了论文声称的每项改动及其报告效果,共 621,064 项改动、1,273,440 条 findings。
核心发现:
- 69% 的改动有帮助,10% 无明确效果,16% 反而更差,5% 结果混合;合计 26% 的改动按论文自己的数据并无益处
- 66% 的论文至少含一项无帮助的改动
- ML 会议对 31% 的改动报告了零/负结果,视觉会议仅 22%
- 最常无效的常见改动:提高采样温度(122 篇中 52% 无效)、加大 LoRA rank(46%)、提高学习率(46%);最稳的是加 contrastive loss(1,317 篇中仅 4% 无效)
数据前端见 atlas.scime.ai 的「What didn't work」专版,可按会议与改动类型浏览。
「研究」频道最新
- 新论文提出「心理导航」是人类认知的默认计算模式 — abenitezburraco · 2026-11-17
- Judea Pearl 点赞一页图解:结构因果模型如何用四步把因果变成数学 — yudapearl · 2026-11-17
- kalomaze:爱加 cross attention 的人往往是在逃避数据设计 — kalomaze · 2026-11-17
- 四篇校准论文综述:模型置信度不宜用于放行 Agent 高危操作 — Xjjjjyn · 2026-11-17
- ICLR 2027 审稿怪圈:做了新实验被批「改太多」,不做被批「AI slop」 — SimpleObvious4048 · 2026-11-17
- IIT 马德拉斯 CeRAI 发布会话式 AI 评测工具:7 维度 48 项核心指标 — ravi_iitm · 2026-11-17