研究发现自动化发现系统没有通用最优 harness
LChoshen · x · 2026-07-22
一项受控研究发现：自动化发现并不存在“放之四海皆准”的最佳 harness。
- 更简单的 harness 往往能和更复杂的系统打平，甚至超过 OpenEvolve 这类方案。
- 最优选择会随着 model–problem pair 改变，因此 harness 的泛化性很差。
- 作者使用了重复的预算匹配实验、强基线和统计假设检验，以应对这种高方差设置。
- 研究还指出，如果在 rollout 过程中在线选择不同 harness，能缓解这个泛化问题，并推动更自适应的发现系统设计。
所属事件:研究称自动化发现不存在通用最优框架(2 条相关)→
「研究」频道最新
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26
- Ortet 首次健康评测：34 个开源模型跑 50 项任务，综合排名不够用 — elmanmansimov · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- 研究者发现「Forking」现象：训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
- DeepMind 试点全球首个双盲 AI 评测，密码学隔离防基准污染 — scychan_brains · 2026-10-26