换框架不换模型，编码成绩可差35分：8090实验室实测7模型×5 harness
pstAsiatech · x · 2026-10-13
Chamath 引用 8090 Labs 的新研究指出：模型榜单只测模型本身，但没人单独跑模型——每个编码智能体都是「模型+harness(负责写提示、给工具、改文件、处理失败步骤的外壳程序)」的组合，团队实际是两者一起选。
实验在 Datacurve DeepSWE v1.1 的 113 个真实开源编码任务上，跑 7 个模型（GPT-5.6 三个版本、Claude Fable 5.1、Grok 4.6、GLM 5.3 Flash、DeepSeek V4 Flash）× 5 个 harness（Codex、Claude Code、OpenCode、Pi、DeepSeek harness），每组合跑两次，用 Datacurve 自带测试评分。
关键发现：固定模型和推理设置、只换 harness，同一模型成绩可摆动 35 个百分点，有的模型几乎不受影响。如 Claude Fable 5.1 在 Claude Code 得 41%、在 Codex 得 59%。结论：只看模型榜单选型，等于基于一半信息做关键决策。
「编程与Agent」频道最新
- 移动端管理大量 AI Agent,开发者工具 Intent 正式上线 — Wattenberger · 2026-10-13
- 让 Agent 自己爬出坑:把修复步骤写进 API 报错响应 — SucceededMind · 2026-10-13
- Temporal agent 中招 prompt injection,worker 层拦截后照常完成 PR — daniel_tenuo · 2026-10-13
- 改 config.toml 把 272k 上下文上限提到 872k,网友实测有效 — JayJeds · 2026-10-13
- EpochGo:基于 Ollama 的本地多智能体 AutoML,零 API 成本全离线 — Grouchy-Excitement28 · 2026-10-13
- Ramp CTO 将开讲：内部编码 agent 承担约 3/4 已合并 PR — graceisford · 2026-10-13