20次重复实验：OpenHands 在各采样设置下最稳定
yb2698 · x · 2026-10-14
作者将实验推向深入：聚焦 3 个任务、每任务重复 20 次试验，并用三种采样设置（temperature=0 贪心解码、模型推荐参数、harness 默认参数）重跑，以厘清采样参数的影响。在每个 harness 上用差异最大的 pandas-etl 任务跑完三种设置，另加两个任务用推荐设置。他们绘制了 20 次试验的通过率、轮数与首轮工具调用分布。结论：OpenHands 依然最一致、随机性最低；当 temperature 固定为 0 时，所有 harness 的表现趋于收敛。
所属事件:一个 ipython 工具追平复杂框架：小模型 agent 脚手架对比实验(15 条相关)→
「编程与Agent」频道最新
- 新工具为 AI Agent 推出专属云电脑：4 vCPU 秒级启动，内建 computer use — CurieuxExplorer · 2026-10-15
- Claude Code 作者用一打 Agent 把 64 篇论文变成可交互物理实验平台 — luisdans · 2026-10-15
- 用户让 Grok bot 自己写了个邮件界面,全程可用 — elonmusk · 2026-10-15
- YC F26 项目 Papaya 发布:自动给生产环境 AI Agent 开修复 PR — ycombinator · 2026-10-15
- RAG 评测驱动开发实战:eval 用例存 Git,失败即补测 — Al_Grigor · 2026-10-15
- LlamaIndex 推出 OpenDocRouter:按 ParseBench 横评文档解析模型 — llama_index · 2026-10-15