实测：小模型 agent 一个 ipython 工具就能追平复杂框架
开发者 yb2698 发布系列实验：在 Terminal-Bench Lite 上用 Qwen3.5-9B 对比多个开源编码 agent harness 后发现，只用一个 ipython 会话的极简 harness 能追平部分复杂生产级 harness，核心结论是「脚手架越少，小 agent 表现越好」。实验代码已以 ipython-harness 名义在 HuggingFace 开源。
已确认
- 实验模型选 Qwen3.5-9B：9B 模型配合合适的 GGUF 量化版本仅需约 7GB 显存，可在多数消费级笔记本本地运行，适合大量重复实验
- 对比的四个开源 harness 为 opencode、Pi、Qwen-Code、OpenHands，内置工具数量差异巨大：Qwen-Code 63 个、OpenHands 21 个、opencode 17 个、Pi 仅 9 个
- 极简 harness 受 Alex Zhang「Recursive Language Models」工作启发，让 LLM 直接使用一个 ipython 会话，作者将其本身也视为一种 harness
- 在 TB-Lite easy 子集上做 24 任务×每任务 3 次重复（每个「模型×harness」组合共 72 次试验），测量平均奖励相对输入/输出 token 与总运行时间，结果很难宣布明显赢家
- 深入实验：聚焦 3 个任务、每任务 20 次重复，并用 temperature=0 贪心解码、模型推荐参数、harness 默认参数三种采样设置重跑，OpenHands 在各采样设置下最稳定；极简 harness 随机性最强，作者从 pass/fail 翻转次数、轮数一致性、输入 token 波动三个维度衡量
- 作者用所有 ipython harness 版本（v0→v3）重跑单任务实验，验证 harness 改进对小模型（Qwen3.5-9B 在 pandas-etl 任务上）reward 与 token 消耗的收益
- 环境噪声影响：pip 下载进度条中的下载速度数字（150.3 MB/s vs 129.3 MB/s）等无关差异即可让小模型 agent 表现抖动，作者用约 40 行正则修复此类伪影；分析认为小模型对工具输出中的环境伪影不鲁棒，大模型一般不受影响
- prompt 与工具调用分析：Qwen-Code 每轮 prompt 明显更大，根源是其系统提示词远大于其他 harness；Qwen-Code 的读取/搜索调用次数约为其他 harness 的两倍，更多使用内置读取工具；每任务轮数总体均匀，opencode 略占优势；ipython 在轨迹前 30% 的 prompt 上无压缩劣势，后期反超
为什么重要
- 该系列为「给小模型堆脚手架是否有益」提供了可复现的量化证据，提示搭建小语言模型 harness 时需警惕环境噪声与系统提示词膨胀等细节，开源的 ipython-harness 也降低了他人复现与延伸实验的门槛
2026-10-14 ~ 2026-10-14 · 16 条相关
一手来源
- 实测:单工具 harness 追平复杂生产级 agent 框架 — yb2698 ·
- HuggingFace 开源 ipython-harness:纯 ipython 的极简 agent 评测框架 — yb2698 ·
- 24任务×72次试验：五种 harness 难分明显赢家 — yb2698 ·
- 行为 harness 实测：便宜模型加护栏可省 33% 成本 — blaizedsouza · 2026-10-14
- 小模型只需一个 ipython 工具,就能追平复杂生产级 agent 框架 — yb2698 · 2026-10-14
- 【源头】实测:单工具 harness 追平复杂生产级 agent 框架 — yb2698 · 2026-10-14
- 实验选用 Qwen3.5-9B：7GB 显存笔记本就能跑 — yb2698 · 2026-10-14
- 四大开源编码 harness 对比：工具数从 9 到 63 不等 — yb2698 · 2026-10-14
- 受递归语言模型启发，裸 ipython 也算一个 harness — yb2698 · 2026-10-14
- 【源头】24任务×72次试验：五种 harness 难分明显赢家 — yb2698 · 2026-10-14
- Qwen-Code 系统提示词巨大，ipython 无压缩后期反超 — yb2698 · 2026-10-14
- Qwen-Code 读文件频率翻倍，根源在其系统提示词 — yb2698 · 2026-10-14
- 重跑同一任务结果会翻车？极简 harness 随机性最强 — yb2698 · 2026-10-14
- 20次重复实验：OpenHands 在各采样设置下最稳定 — yb2698 · 2026-10-14
- 核心结论:对小模型 agent,一个 ipython 工具就够,少脚手架反而更好 — yb2698 · 2026-10-14
- 下载速度数字也能搞挂 agent：40 行正则修复小模型 harness 抖动 — yb2698 · 2026-10-14
- 小模型 agent harness 易受环境噪声影响，作者开源 ipython 实验 harness — yb2698 · 2026-10-14
- 重跑全部 ipython 版本实验，验证 harness 改进对小模型的收益 — yb2698 · 2026-10-14
- 【源头】HuggingFace 开源 ipython-harness:纯 ipython 的极简 agent 评测框架 — yb2698 · 2026-10-14