一个 ipython 工具追平复杂框架：小模型 agent 脚手架对比实验
作者 @yb2698 围绕「小模型 agent 到底需要多少脚手架」做了一系列系统实验：在 Terminal-Bench Lite 上，一个只使用单一 ipython 会话的极简 harness 能追平部分复杂生产级 harness，核心结论是「脚手架越少，小 agent 越好」。这一结果对给小语言模型搭建 agent 框架有直接参考价值，且实验 harness 已在 GitHub 以 huggingface/ipython-harness 开源。
已确认
- 实验模型为 Qwen3.5-9B，用合适的 GGUF 量化版本约 7GB 显存即可本地运行，适合大量重复实验；基准为 Terminal-Bench Lite。
- 对比的四个开源 harness 为 opencode、Pi、Qwen-Code、OpenHands，内置工具数量差异巨大：Qwen-Code 63 个、OpenHands 21 个、opencode 17 个、Pi 仅 9 个。
- 极简 harness 受 Alex Zhang 的 Recursive Language Models 工作启发，让 LLM 直接使用一个 ipython 会话。
- 作者用 TB-Lite easy 子集（24 任务×3 次重复，每组合 72 次试验）测量平均奖励相对输入/输出 token 及总运行时间，结果很难宣布明显赢家。
- 重复实验（3 个任务、每任务 20 次，三种采样设置：temperature=0、模型推荐参数、harness 默认参数）显示 OpenHands 在各采样设置下最稳定，极简 harness 的随机性最强。
- 用全部 ipython harness 版本（v0→v3）重跑单任务实验，验证 harness 改进对小模型的收益，对比 reward 与 token 消耗。
- 行为分析：各 harness 中模型总体行为一致、多调用 shell，但 Qwen-Code 的读取/搜索调用约为其他 harness 两倍，根源在其系统提示词更大程度使用内置 read 类工具；Qwen-Code 每轮 prompt 明显更大，ipython 在轨迹前 30% 的 prompt 上占优（后期被反超）。
环境噪声发现
- 作者发现环境工具输出会因无关噪声产生差异：pip 下载同一包时进度条显示的下载速度（150.3 MB/s vs 129.3 MB/s）每次都不同，小模型对这类环境伪影不鲁棒，大模型一般不受影响；用约 40 行正则清理输出即可修复由此带来的抖动。
为什么重要
- 实验提示给小语言模型搭 harness 时需谨慎处理工具输出中的环境伪影与采样随机性，且「少脚手架」可能比堆叠工具更有效，为低成本本地 agent（消费级笔记本即可跑）提供了可复现的实验路径与开源工具。
2026-10-14 ~ 2026-10-14 · 15 条相关
一手来源
- 实测:单工具 harness 追平复杂生产级 agent 框架 — yb2698 ·
- 小模型 agent harness 易受环境噪声影响，作者开源 ipython 实验 harness — yb2698 ·
- HuggingFace 开源 ipython-harness:纯 ipython 的极简 agent 评测框架 — yb2698 ·
- 小模型只需一个 ipython 工具,就能追平复杂生产级 agent 框架 — yb2698 · 2026-10-14
- 【源头】实测:单工具 harness 追平复杂生产级 agent 框架 — yb2698 · 2026-10-14
- 实验选用 Qwen3.5-9B：7GB 显存笔记本就能跑 — yb2698 · 2026-10-14
- 四大开源编码 harness 对比：工具数从 9 到 63 不等 — yb2698 · 2026-10-14
- 受递归语言模型启发，裸 ipython 也算一个 harness — yb2698 · 2026-10-14
- 24任务×72次试验：五种 harness 难分明显赢家 — yb2698 · 2026-10-14
- Qwen-Code 系统提示词巨大，ipython 无压缩后期反超 — yb2698 · 2026-10-14
- Qwen-Code 读文件频率翻倍，根源在其系统提示词 — yb2698 · 2026-10-14
- 重跑同一任务结果会翻车？极简 harness 随机性最强 — yb2698 · 2026-10-14
- 20次重复实验：OpenHands 在各采样设置下最稳定 — yb2698 · 2026-10-14
- 核心结论:对小模型 agent,一个 ipython 工具就够,少脚手架反而更好 — yb2698 · 2026-10-14
- 下载速度数字也能搞挂 agent：40 行正则修复小模型 harness 抖动 — yb2698 · 2026-10-14
- 【源头】小模型 agent harness 易受环境噪声影响，作者开源 ipython 实验 harness — yb2698 · 2026-10-14
- 重跑全部 ipython 版本实验，验证 harness 改进对小模型的收益 — yb2698 · 2026-10-14
- 【源头】HuggingFace 开源 ipython-harness:纯 ipython 的极简 agent 评测框架 — yb2698 · 2026-10-14