GPT-6 Sol 实测翻车:105 个隐藏 bug 只修 29.3 个,垫底全场
PawelHuryn · x · 2026-09-23
作者用两个真实仓库、共 105 个隐藏 bug 对主流模型做了找 bug+修复实测,GPT-6 Sol 表现大幅退化:
- GPT-6 Astra (max):45 分
- GPT-5.6 Sol (max):43.5 分
- Opus 5.5 (max):41.7 分
- Muse Spark 1.3 (max):32.2 分
- GPT-6 Sol (max):29.3 分,垫底
但按 API 等价成本折算后格局反转:GPT-6 Sol 仅 $9.93,是 GPT-5.6 Sol($95.25)的约十分之一;GPT-6 Astra $33.04,Opus 5.5 $58.53,Muse Spark 1.3 $18.11。作者表示今天会在推文串里补充 xhigh/high/medium/low 各努力档位的更多数据。
所属事件:Bug Hunt Bench 实测：GPT-6 登顶，MiMo 性价比惊艳(18 条相关)→
「模型」频道最新
- 开发者自建 git 网页应用被 Codex 安全护栏误判为网络安全风险 — brianmichel · 2026-11-11
- 微软演示 Lazarus 后门：改不到 10 个神经元即可操控 AI agent — DimitrisPapail · 2026-11-11
- DeepSeek 开源编码 agent DSH 登上 HF Harness 榜，五项评测并列第一 — TheZachMueller · 2026-11-11
- 博主断言美国开源模型将凭盈利模式主导，但仍难追 Claude — marktenenholtz · 2026-11-11
- NVIDIA 发布开源 GR00T 2：真实灵巧手全自动完成化学实验 — EricBuess · 2026-11-11
- 降价反而更贵:新模型太爱自查，单任务成本涨31% — tengyanAI · 2026-11-11