重跑同一任务结果会翻车？极简 harness 随机性最强
yb2698 · x · 2026-10-14
作者分析了 harness 的「随机性」：用同一模型同一 harness 重跑同一任务 N 次会发生什么？基于已跑过 3 次的 TB-Lite 任务，从三个维度计算一致性：pass/fail 翻转次数、轮数一致性、输入 token 的波动。结果很有意思：极简 harness（ipython 和 pi）受随机性影响最大，而 OpenHands 是所有测试 harness 中最一致的。作者分析其轨迹后认为，这与 OpenHands 的实现方式有关。
所属事件:实测：小模型 agent 一个 ipython 工具就能追平复杂框架(16 条相关)→
「编程与Agent」频道最新
- 创作者用 Codex 搭 GoPro 素材自动导入工具,支持 WiFi 慢速传输 — OpenAIDevs · 2026-10-15
- Claude Code 2.1.300 系统提示词大瘦身:token 减 58.5%,移除强制提问指令 — ClaudeCodeLog · 2026-10-15
- Claude Code 2.1.300 发布:88 项 CLI 变更,系统提示移除 AskUserQuestion 指令 — ClaudeCodeLog · 2026-10-15
- 尼采「末人」照进 AI 时代：编程智能体就是「我们发明了幸福」 — akbirthko · 2026-10-15
- Tahoe AI 开放 Tara 插件:一条 prompt 把 Agent 接入生物数据集 — anshulkundaje · 2026-10-15
- sgrep 实测:比 ripgrep 更准更快,让编程 agent 省 21.3% API 成本 — udmrzn · 2026-10-15