Agent 框架比模型选择更重要:SWE-bench 成绩可相差 10 分
Future_AGI · reddit · 2026-07-22
作者指出,当前 AI Agent 领域的讨论过度聚焦于模型本身(如 GPT 与 Claude 的对比),而忽视了决定 Agent 实际表现的核心要素:模型外围的框架(Harness)。
框架是指将模型转化为 Agent 的包装代码,包括:
- 工具调用与停止时机的循环逻辑
- 工具输出如何回填至上下文
- 上下文窗口溢出时的记忆裁剪策略
- 错误处理与重试机制
核心观点:
- 排行榜成绩是“模型+框架”的综合体现:同一个模型在不同框架下跑分差异巨大。例如在 SWE-bench Pro 测试中,Claude Opus 4.5 在不同标准化框架下得分分别为 46% 和 55%,仅靠改变框架就能带来 10 到 20 分的波动。
- 排查 Agent 不稳定问题应先看框架:当 Agent 表现不稳定时,盲目更换模型往往无效,真正的问题通常出在上下文截断、工具报错未正确回传或重试机制引发的状态污染。优化这些框架层面的细节,比单纯换模型更能提升可靠性。
「编程与Agent」频道最新
- 用 $28 算力让模型给自己造 copilot:他的新模型个人基准 — bucolucas · 2026-10-27
- Agent 中途改计划该被允许吗:真实系统介入时的边界之辩 — wistfulcracker84 · 2026-10-27
- HeyGen 联手 Canva:幻灯片讲者备注自动变数字人讲解视频 — HeyGen · 2026-10-27
- 隐私场景实测:本地 Qwen 3.8 FN 不输云端前沿模型还更快 — dr_lm · 2026-10-27
- Cloudflare Computer 支持 agent 中断恢复,可跳过已完成的非幂等请求 — irvinebroque · 2026-10-27
- LLM Tails 实测省 80% 输入 token:先读后写约束 agent 编码 — savadks1818 · 2026-10-27