受控研究发现：自动化发现没有通用最优 harness
LChoshen · x · 2026-07-23
自动化发现没有放之四海皆准的最佳 harness
这条线程转述了一项研究：在自动化发现任务中，不存在对所有模型—问题组合都最优的 harness。
研究的主要结论是：
- harness 选择更像是一个针对模型和问题的超参数，不是通用配方
- 更简单的 harness 经常能追平甚至超过更复杂的系统，包括 OpenEvolve 的变体
- 最佳选择会随模型—问题组合变化
- 因为这个场景方差很高，作者使用了重复、预算匹配的运行、强基线和统计假设检验来做稳健比较
实际含义是：与其一味堆复杂度，不如把“在线选择哪种 harness”本身当成关键问题。
所属事件:研究称自动化发现不存在通用最优框架(2 条相关)→
「研究」频道最新
- Kimi K3 在网络安全上很强，但 token 效率卡住了评测 — teortaxesTex · 2026-07-27
- ARC AGI 3 应该保持私有，不该公开示例和数据集 — flowersslop · 2026-07-27
- ExploitGym 可能只有六到七成任务可解，引发 OpenAI 作弊争议 — max_paperclips · 2026-07-27
- 5090 本地测试：80k 上下文下 Qwen Q6 速度掉到 15 tok/s — LFAdvice7984 · 2026-07-27
- Chollet 认为智能可能有硬上限，AI 进步会趋于边际递减 — binarybits · 2026-07-27
- 论文提出图拓扑可成为 AI Agent 核心框架 — theomitsa · 2026-07-27