10 月 6 款新模型同测 5 个编程任务:全过关,成本却差 30 倍
latent_lurker8587 · reddit · 2026-10-31
作者用同一套环境实测 10 月发布的 6 款新模型,各跑 5 个带隐藏陷阱的小型编程任务(YAML 覆盖、隐藏数据统计脚本、slugify 修复、ERROR 行计数、近似函数重命名),每任务 10 分钟上限、单次运行。
测试环境:Atomic Agent 0.6.13 云端 auto-approve 模式,全部经 OpenRouter,macOS 沙箱内每任务独立目录。
结果(5 任务总成本):
- DeepSeek V4.1 Flash:5/5,中位 14 秒,$0.02
- Claude Haiku 5.5:5/5,12 秒,$0.035(最快)
- Gemini 4 Argon:5/5,43 秒,$0.47
- Kimi K3.1 Pro:5/5,40 秒,$0.59
- GPT-6.1 Terra:5/5,18 秒,$0.65
- Recursive Flint(免费档):1/5,多个任务超时,宣称 SWE-bench Verified 74.2 但实测拉胯
要点:
- 大厂模型全部通关,但同等工作量价差约 30 倍,DeepSeek 还更快;Haiku 5.5 是低调赢家
- Flint 表现糟糕,但其免费端点全天间歇性 503(「no upstreams available」),可能服务器挣扎所致,复测未成
- 作者经验:agent 每步保持 prompt 开头一致,79–83% 输入命中 prompt cache,是贵模型也能控制在 1 美元内的关键;每步记日志才看得出 Flint 是卡死而非慢
样本小,属初测非最终排名。
所属事件:六款 10 月新模型同题实测：全部过关，成本相差 30 倍(2 条相关)→
「编程与Agent」频道最新
- Garry Tan 代言 GBrain Cloud:一句命令让 Claude Code 自动配好跨 agent 记忆 — garrytan · 2026-10-31
- Chrome 已修的沙箱逃逸仍在威胁你:Playwright 旧版 Chromium 继承 IDE 权限可执行命令 — flngr · 2026-10-31
- 如何给你的 AI dot 派活：从「惊喜提醒」到长期托管职责 — nickbaumann_ · 2026-10-31
- Socket 澄清 Claude Code 2.1.313 恶意扩展误报，Cursor 已下架相关插件 — zeeg · 2026-10-31
- 开发者吐槽:75% 时间在等 Agent 跑活,代码质量反受拖累 — RileyRalmuto · 2026-10-31
- 开发者实测:Opus 5.5 生产力暂时领先,继续保留 GPT Pro — kevinkern · 2026-10-31