基准分数可能越来越不能代表真实生产力
Minimum-Bonus-1365 · reddit · 2026-07-22
这条帖子认为，榜单/基准的胜利已经不能很好代表真实世界中的 AI 表现。
它引用 METR 的研究结论：前沿模型即使在标准评测上表现很好，在长周期、真实的软件工程任务中仍然会明显吃力。核心质疑是，行业是否正在把优化目标从“有用”悄悄变成“刷分”。
「研究」频道最新
- Eric Topol 质疑前沿模型研究:持续技能提升的证据何在 — EricTopol · 2026-10-27
- 新论文:数据配比与学习率调度必须联合设计 — jasondeanlee · 2026-10-27
- 学术研究如何真正被采用:选重要问题、做好 eval、易用性决定影响力 — srchvrs · 2026-10-27
- 苦涩教训第二弹:能产生影响的学术发明很少,发表场所并不关键 — srchvrs · 2026-10-27
- 入学一周即当上 ARR 审稿 Area Chair,学者吐槽评审乱象 — anmarasovic · 2026-10-27
- EMNLP 主题演讲:产业界其实在读论文,只是不署你的名 — srchvrs · 2026-10-27