自费 200 美元实测 AI 修 bug:Opus 94% 夺冠,DeepSeek 成本仅 1/26
narrow-adventure · reddit · 2026-10-23
作者为验证「CLI+skill vs MCP」哪种接入方式更适合 AI 修 bug,自建了一个 62 个用例的基准并自费约 200 美元跑完,结论:
- 成绩:Claude Opus 以 94% 修复率排名第一;DeepSeek 4.1 flash 达 87%。
- 成本:Opus 花费 52 美元,DeepSeek 仅 2 美元——「一年前你根本不敢想 2 美元能自动解决 84% 以上的问题」。
- 观点:开源权重模型正快速逼近闭源,而按 token 付费让作者对月订阅模式的实际成本有了新认识。
- 后续计划:多次重复运行、改进 skill、完成 MCP vs skill+CLI 的最终排名,并加入更多开源模型。
基准公开于 tracewayapp.com/benchmarks;作者披露自己是 Traceway(MIT 协议)的主要维护者,但声明该基准只是开发过程中的副产物,与推广无关。
「编程与Agent」频道最新
- Agent 时代的 UI 正从「审批意图」转向「决策指挥中心」 — _AustinCalvert_ · 2026-10-23
- 智能体蜂群协作 1 万小时实测：Gemini-3.8-Flash 提速 23% 居首 — mrdrozdov · 2026-10-23
- 开发者自晒：给自己 AI 写的游戏 UI 打回「非常非常的 slop」 — Dimillian · 2026-10-23
- Figma MCP Server 一键把设计稿转成像素级一致的 React 代码 — modelcontextprotocol · 2026-10-23
- Gemini 4 Argon 用一张图加 Blender MCP 造出 3D 哥特教堂 — GoogleDeepMind · 2026-10-23
- Reddit 热帖：你的 Agent 卡死后，你花钱雇人做了哪些活？ — Aggressive-Buyer8583 · 2026-10-23