多模型编程 Agent 实测：廉价模型败在知识陈旧而非推理
MeetStraight1899 · reddit · 2026-07-22
一位开发者基于社区反馈，重新设计了针对多模型编程 Agent 的基准测试。测试通过 MCP 服务器让 Claude Code 调度 GPT-5.6、DS4、GLM 及本地 Qwen 等模型，核心发现如下：
- 知识截断陷阱：在要求使用最新版依赖库（如 zod v4）的测试中，廉价模型（DS4 Pro、GLM、Qwen 等）全部阵亡，因为它们基于过时的训练数据生成了无法运行的旧 API 代码。但在纯逻辑推理测试中，这些模型表现近乎完美。
- 一致性不等于正确性：这些因知识陈旧导致的错误在多次重试中表现出了极高的一致性，这意味着简单的重试机制无法修复此类系统性错误。
- 完美表现梯队：Claude Sonnet 5、Opus 4.8、GPT-5.6 以及 Grok 4.5 成功通过了知识截断陷阱。尤其是 Grok 4.5，即使没有文件访问权限也能准确知晓最新 API。
- 成本与算力：Agent 工作流的 Token 消耗大约是普通聊天的 20 倍，高昂的成本主要靠订阅和缓存机制来缓解。
所属事件:多模型编程Agent实测：廉价模型败于知识陈旧(2 条相关)→
「编程与Agent」频道最新
- 开发者晒 AI 编码智能栈：人定方向 Opus 写码 Astra 审查，人类只做审阅 — sh_reya · 2026-10-27
- Baseten 网络课：用自有合并 PR 建 benchmark,按每成功任务成本评估开源模型 — baseten · 2026-10-27
- Thorsten Ball 谈 Agent 工作法：多用评测、多上自动化、放手让 Agent 干 — omarsar0 · 2026-10-27
- DeepMind 论文：LLM 无法自行随机采样，需外部传入随机数 — rohanpaul_ai · 2026-10-27
- BELL stack 开源：浏览器+Agent 框架+iMessage+支付，一套搭个人智能体 — jeff_weinstein · 2026-10-27
- 法律 AI 公司 Legora 在 Modal 上并行跑 2000 个 agent eval — blelbach · 2026-10-27