AI编程助手重构代码实测:o3耗时3小时仍出错,GPT-5.5十分钟写空壳
AI Engineer · youtube · 2026-08-09
Wisedocs 的机器学习主管分享了使用 AI 编程助手重构庞大医疗理赔代码库的基准测试经验。
- 模型表现对比:在单次重构任务中,o3 在 Cursor 中耗时 3 小时仍犯下 10 个重大错误;而 Opus 4.8 几乎一次性通过,耗费算力仅为前者的五分之一。GPT-5.5 虽然在 10 分钟内写出 2000 行代码,但全是缺失核心模型的空壳架构。
- 长任务成功率:作者建议参考 METR 的任务长度曲线时,应关注 80%-90% 的成功率,因为五五开的成功率往往只会浪费一小时并打断开发者注意力。
- 最终结论:提前进行人工重构是正确的选择。这不仅提升了代码提交速度(数月的工作现在不到一周即可完成),还打破了先前的仓库壁垒,显著提升了团队跨领域协作的意愿。
「编程与Agent」频道最新
- 用 ChatGPT 会话经 Desktop Commander MCP 启动 Claude Code CLI — MidahBootyQuay · 2026-10-16
- 单操作员指挥多智能体能做的事已超乎想象 — natesiggard · 2026-10-16
- Claude Code 会话该跑多久?3 小时后上下文成灾的真实教训 — Additional-Buy-2562 · 2026-10-16
- Claude Code 隐藏行为:团队成员 agent 的回复不会送达 lead — Sauers_ · 2026-10-16
- Agent 写完完整回答却被 harness 丢弃:工具调用文本被当进度注释 — Stunning-Sherbet1853 · 2026-10-16
- Vibe coding 背锅太多:工程师厘清它与真实软件工程的边界 — bendee983 · 2026-10-16