同一任务重跑 3 次实测:OpenHands 是一致性最好的 agent harness
rajistics · x · 2026-10-18
yb2698 分享了一项 agent harness 一致性实验：用相同模型、相同 harness 把完全相同的任务重跑 N 次，观察三个指标——pass/fail 翻转情况、轮数变化、input tokens 波动。
结论：极简 harness（ipython、pi）受随机性影响严重，而 OpenHands 在所有受测 harness 中一致性最好。rajistics 转发点评「harness 的一致性是非常好的品质」。这类测试提示 agent 评测中单次运行的 pass/fail 结果可能不可靠，harness 设计本身会显著影响结果稳定性。
「编程与Agent」频道最新
- 自动化静默失败频发,从业者分享 7 条防翻车检查清单 — shannonpieter · 2026-10-18
- Claude 智能体包办 3D 木偶喜剧:写剧本搭引擎自己当导演 — Slackluster · 2026-10-18
- AgentCave：把散落各地的 Mac Studio 与 GPU 箱塞进一个虚拟机房 — noahsolomon · 2026-10-18
- 用 LLM 维护 OpenAPI 规范？工程师反思完美主义不是成功前提 — charliermarsh · 2026-10-18
- 用户喊话 Anthropic：别开新会话，一个聊天窗记住全部历史 — khademinori · 2026-10-18
- 打给你的 MCP:电话保持通话、双向对话、支持 90 多种语言 — radressss · 2026-10-18