基准分数可能越来越不能代表真实生产力
Minimum-Bonus-1365 · reddit · 2026-07-22
这条帖子认为，榜单/基准的胜利已经不能很好代表真实世界中的 AI 表现。
它引用 METR 的研究结论：前沿模型即使在标准评测上表现很好，在长周期、真实的软件工程任务中仍然会明显吃力。核心质疑是，行业是否正在把优化目标从“有用”悄悄变成“刷分”。
「研究」频道最新
- AI 老将 Dietterich 喊话:别把 cs.AI 当 arXiv 主分类 — tdietterich · 2026-10-27
- arXiv 前主席提示:投稿主分类选错,论文几乎必被搁置 — tdietterich · 2026-10-27
- arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27
- 72 张实拍图训练 MOSS 锐度滑块 LoRA,权重 1 到 -1 调焦 — aoleg77 · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27
- 开源决策模型打《红色警戒2》：先卖基地后自瞄自炸，训练后无人能敌 — heathercmiller · 2026-10-27