24任务×72次试验：五种 harness 难分明显赢家
yb2698 · x · 2026-10-14
为获得有意义的信号，作者选取 TB-Lite 的 easy 子集（24 个任务，每任务重复 3 次，即每个「模型×harness」组合共 72 次试验），测量平均奖励相对平均输入/输出 token 及总运行时间的关系。结果显示很难宣布一个明确的赢家，于是作者转而深入分析 prompt 大小随轮数的演变。
所属事件:一个 ipython 工具追平复杂框架：小模型 agent 脚手架对比实验(15 条相关)→
「编程与Agent」频道最新
- 新工具为 AI Agent 推出专属云电脑：4 vCPU 秒级启动，内建 computer use — CurieuxExplorer · 2026-10-15
- Claude Code 作者用一打 Agent 把 64 篇论文变成可交互物理实验平台 — luisdans · 2026-10-15
- 用户让 Grok bot 自己写了个邮件界面,全程可用 — elonmusk · 2026-10-15
- YC F26 项目 Papaya 发布:自动给生产环境 AI Agent 开修复 PR — ycombinator · 2026-10-15
- RAG 评测驱动开发实战:eval 用例存 Git,失败即补测 — Al_Grigor · 2026-10-15
- LlamaIndex 推出 OpenDocRouter:按 ParseBench 横评文档解析模型 — llama_index · 2026-10-15