实测 99 项任务:Qwen3 4B 裸循环得 70 分,套 LangChain 反跌至 55 分
SeveralSeat2176 · reddit · 2026-11-18
一位开发者用 99 项 agent 任务基准(工具链、SQL、检索、文件、多轮对话,校验器读取工具留下的状态而非模型回复)对比了不同 harness 下 Qwen3 4B 的表现:
- 裸循环、createagent、手写 LangGraph StateGraph 三者得分相同(70/99),而 LangChain Deep Agents 只有 55/99,且多消耗 3.6–4.3 倍的 prompt token——规划与子代理提示反而挤占了上下文。
- Haiku 5.5 在所有 harness 下都拿到 99/99,说明脚手架的差异只在弱模型上才显现。
- 同一基准还抓到 Qwen3 8B 谎报写入量(声称存了 150,实际 store 里只有 129):如果 eval 只读最终文本,小模型会被高估。
- 整个基准共 2,589 次调用,成本仅 $0.93,全部运行记录与教程已公开。
「编程与Agent」频道最新
- 微软 Agent Framework PyPI 包遭投毒,窃取 Azure 和 GitHub 凭证 — Kyrannio · 2026-11-18
- 用户给 Grok 智能体 50 美元求生挑战,48 小时滚到 5763 美元 — nikola_mr64990 · 2026-11-18
- 3 个提示词造出桌面版 Agent IDE:Sable 统一托管 Claude Code 与 Codex — churchkey · 2026-11-18
- OpenHands Teams 上线:自助服务把 CVE 修复流程自动化 — rajistics · 2026-11-18
- Agent 任务树并发上限易死锁,slot lending 模式可破解 — arpit_bhayani · 2026-11-18
- 开发者打造 agent 世界沙盒,可围观多个 AI 智能体互动 — Agent_City10 · 2026-11-18