多模型编程 Agent 实测：廉价模型败在知识陈旧而非推理
MeetStraight1899 · reddit · 2026-07-22
一位开发者基于社区反馈，重新设计了针对多模型编程 Agent 的基准测试。测试通过 MCP 服务器让 Claude Code 调度 GPT-5.6、DS4、GLM 及本地 Qwen 等模型，核心发现如下：
- 知识截断陷阱：在要求使用最新版依赖库（如 zod v4）的测试中，廉价模型（DS4 Pro、GLM、Qwen 等）全部阵亡，因为它们基于过时的训练数据生成了无法运行的旧 API 代码。但在纯逻辑推理测试中，这些模型表现近乎完美。
- 一致性不等于正确性：这些因知识陈旧导致的错误在多次重试中表现出了极高的一致性，这意味着简单的重试机制无法修复此类系统性错误。
- 完美表现梯队：Claude Sonnet 5、Opus 4.8、GPT-5.6 以及 Grok 4.5 成功通过了知识截断陷阱。尤其是 Grok 4.5，即使没有文件访问权限也能准确知晓最新 API。
- 成本与算力：Agent 工作流的 Token 消耗大约是普通聊天的 20 倍，高昂的成本主要靠订阅和缓存机制来缓解。
所属事件:多模型编程Agent实测：廉价模型败于知识陈旧(2 条相关)→
「编程与Agent」频道最新
- 微软 ReOPD 复用教师前缀，让智能体蒸馏快 4 倍以上 — dair_ai · 2026-07-27
- 开发者把 Claude Code 和 Codex 历史合并成千万级消息归档 — doodlestein · 2026-07-27
- 谷歌 15 个免费 AI 工具覆盖营销、编程和音乐 — aigclink · 2026-07-27
- 9B Ollama Agent 可本地跑电台 DJ：工具、记忆和 TTS — pinku1 · 2026-07-27
- Bugbot 拒绝一个会破坏路径隔离的 MCP 权限标志 — zeeg · 2026-07-27
- 一个 GPT-5.6 agent 在看家，另一个在做恶搞说唱 — repligate · 2026-07-27