8 款编码 harness 固定种子横评:同模型结果差异巨大且不稳定
hideo_kuze_ · reddit · 2026-11-15
Reddit 帖讨论一个 harness 对比视频:同一模型(Qwen 3.8 Flash Next, Unsloth UD-IQ4XS)在 RTX 5090 + 128GB DDR5 上,用固定种子、温度 0、各跑 3 次,在 OpenCode、DeepSeek Harness、Pi、Cline、Hermes Agent、Kilo Code、Codex CLI、VSCodium+Continue 中写同一个像素风钓鱼小游戏。
要点:
- 同一 harness 三次尝试结果差异也很大,说明测试本身噪声极高。
- 发帖人指出测试设计缺陷:不让提问、不给视角/像素大小等澄清,这些会极大影响结果。
- 速度最快:kilo、opencode、hermes;最慢(2-3 倍时长):pi、codex、cline、deepseek harness。
- 综合效果最好:opencode、pi、codex。
作者征求大家对测试逻辑和各人常用 harness 的看法。
「编程与Agent」频道最新
- 让 Grok agent 回复尽量短、用 emoji 项目符号,实测效率提升 — jonathan_wilke · 2026-11-15
- 开发者吐槽 Unreal 内 AI 助手会关编辑器做原生构建且无法恢复 — FanaHOVA · 2026-11-15
- 法学教授让 Claude 改页码，结果课程讲义被整年删光 — petrusenko_max · 2026-11-15
- AI Agent 开工前该不该先验证工具能干完活？Runway 审查引发的规划难题 — Jharry1954 · 2026-11-15
- 网友把老合成器电路图喂给 Claude,2-30 分钟复刻音源 — churchkey · 2026-11-15
- CrowdGPT:想做一个无数据中心、社区共创的开源 LLM 项目 — Vxtzq1 · 2026-11-15