AI 让基准爬山更自动化
random_walker · x · 2026-07-16
作者认为，AI 现在越来越能自己完成 benchmark 上的“爬山式”优化，这会释放人类研究者的时间，让他们更专注于那些需要判断、难以验证的部分。
但这也会让同行评审和评测体系更脆弱：当 benchmark 表现不再是有效过滤器时，现有审稿和评估机制会进一步失效。帖子最后指向一篇相关论文，讨论 peer review 和其他评估实践应如何调整。
「研究」频道最新
- 新论文:数学数据放训练前段还是末段,取决于学习率调度 — alifcoder · 2026-10-27
- 健康领域评测研究:题目质量与多样性比数量更重要 — keunwoochoi · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27