不改模型只改 Harness:LangChain 编码智能体成绩从 52.8% 升至 66.5%
MaryamMiradi · x · 2026-11-21
作者梳理了 AI Agent Harness(智能体执行框架)工程方法,引用 LangChain 研究:仅改进 harness(模型外围控制代码)、不换 LLM,其编码智能体在 Terminal-Bench 2.0 上从 52.8% 升至 66.5%,从 Top 30 开外进入 Top 5。
作者总结的 5 层 Harness 架构与 12 个资源:
- Agent Loop(执行循环):Claude Agent SDK、OpenAI Codex SDK、GitHub Copilot SDK、LangChain Deep Agents
- Tool Engineering:MCP 连接外部系统;AGENTS.md 提供项目级指令
- Context Engineering:按需加载指令、摘要旧日志、保持上下文聚焦(Anthropic 的 Context Engineering 与 Building Effective Agents)
- Memory & State:Anthropic Long-Running Agents(进度文件 + Git)、Ralph Loop(新会话 + 持久文件),让 agent 跨会话续接任务
- Control & Evaluation:LangChain Harness Engineering(验证 + 循环检测)、Terminal-Bench 评测
两个具体技巧:在 agent 宣称完成前加一道校验,提醒其对照原始任务检查工作;加入循环检测,捕捉反复编辑同一文件却无进展的情况。经验法则:步骤已知用普通 workflow 即可,下一步取决于 agent 的发现才需要 agent loop + harness。
「编程与Agent」频道最新
- 给客服 Agent 列「绝不能说的话」清单并用测试卡住它 — rcleffke · 2026-11-21
- 海均 Xia 反驳「UI 已死」论:聊天本身就是 UI,且远不足以支撑人机协作 — sh_reya · 2026-11-21
- RTX 5090/4090 全本地栈:开源权重模型跑生产级开发与测试闭环 — awitod · 2026-11-21
- Vespa 创始人创办 Hornet:打造 agent 时代检索基础设施 — jobergum · 2026-11-21
- 新基准 Company Agent Bench:Gemini Neon 以 87.4% 领跑公司助手评测 — philhchen · 2026-11-21
- 同任务实测:腾讯 Hy4 Flash 7 分钟完成,DeepSeek 花 90 分钟 — HeyToha · 2026-11-21