Amazon论文：Harness进化收益54%是过拟合，仅少部分可泛化
Wenxuan Ding · hf · 2026-10-21
Amazon 与 NYU 研究者发布论文《Harness-Delta Attribution: Dissecting Gains From Harness Evolution》，提出 HDA 评测协议，把 harness 自动进化（不更新模型权重、只优化 prompt/skills/工具/编排代码）带来的收益拆解为三部分：artifact 驱动的过拟合、test-time scaling 解释的收益、以及残余的真正可泛化改进。
- 覆盖 11 个执行模型 × 3 个 harness 进化框架，横跨数学、编程、创意与智能体任务共 21 个设置。
- 结果显示：平均而言过拟合解释了 54% 的搜索集收益，test-time scaling 解释 14%；21 个设置中有 14 个两者合计占比超过 50%。
- 结论：harness 进化在搜索集上的大部分收益并不可靠地迁移到 held-out 任务上，benchmark 刷分存在系统性虚高。
「研究」频道最新
- 用 Gemma 嵌入把音乐轨迹画进 3D 隐空间，持火把漫游听歌 — ryunuck · 2026-10-21
- Simons 基金会联手 Anthropic、OpenAI 资助数学+AI 研究所 — windx0303 · 2026-10-21
- 用 Gemma 嵌入把音乐轨迹在 3D 空间中可视化追踪 — ryunuck · 2026-10-21
- Harmonic 的 Petar Veličković 将在 POPL 2027 TPSA 研讨会做主题演讲 — satnam6502 · 2026-10-21
- 合著者做解读视频：用前沿 API 合成数据微调反而不如不训 — idanbeck · 2026-10-21
- EAGLE-4 投机解码框架开源，支持 SGLang 与 vLLM — testingcatalog · 2026-10-21