Google 论文:改 harness 让 GPT-5-mini 在 SWE-bench 从 24.4% 翻倍到 48.3%

bittingthembits · x · 2026-10-13

Google 新论文 Evo² 表明,模型外层的 harness(工具、记忆、工作流)与模型本身同等重要。方法:同一个 AI 扮演两个角色——Proposer 负责改写自身 harness(prompt、工具、记忆与工作流),Reflector 诊断每次改动带来的变化;所有编辑及结果成为训练数据,通过 Studying the Textbook 和 Scrimmage Practice 持续进化。结果:同一 GPT-5-mini,更好的 harness 在 SWE-bench Verified 子集上从 24.4% 提到 48.3%(最强基线 41.0%);Polyglot 上 82.1% vs 62.6%,且进化出的 harness 可迁移到其他 benchmark。注:原帖夹带 $TAO 代币推广,数字与论文部分可信但需注意其营销动机。