实测 5 个旗舰模型找 105 个隐藏 bug,GPT-6 Sol 排名垫底
ronnhue · x · 2026-09-23
作者 PawelHuryn 在两个真实代码库的 105 个隐藏 bug 测试中横向对比了多个旗舰编码模型（测试设定：找并修复，越多越好）：
- GPT-6 Astra (max)：45
- GPT-5.6 Sol (max)：43.5
- Opus 5.5 (max)：41.7
- Muse Spark 1.3 (max)：32.2
- GPT-6 Sol (max)：29.3，大幅落后
换算成 API 等效成本后反差更大：GPT-6 Astra 约 $33、GPT-5.6 Sol 高达 $95.25、Opus 5.5 约 $58.53。评论区补充认为性价比上 luna 系列表现不错。
核心信息：GPT-6 Sol 在真实工作任务中表现严重退化，且高价方案不一定省成本。
所属事件:Bug Hunt Bench 实测：GPT-6 登顶，MiMo 性价比惊艳(18 条相关)→
「编程与Agent」频道最新
- Plurai 发布 Agent 仿真测试插件:数字孪生让 Agent 先在虚拟世界翻车 — nikola_mr64990 · 2026-11-12
- Agent 说「Done」不等于真做完:Plurai 仿真核验实际行为 — nikola_mr64990 · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12