Bug Hunt Bench 实测:GPT-6.1 Terra 仅 max 档可用,Sonnet 5.5 硬磨登顶

Pawel Huryn 在自建的 Bug Hunt Bench(2 个真实仓库、105 个预埋 bug,盲评计分)上实测各模型。GPT-6.1 Terra 仅在 max 推理档位表现强劲,降档后得分暴跌;完整排行榜显示 Sonnet 5.5(max)居首,但靠约 7 倍的交互轮次反复尝试取得,GPT-6.1 Terra (max) 在多次运行中表现不稳定。测试凸显推理档位与轮次预算对排行的巨大影响。

2026-10-27 ~ 2026-10-27 · 2 条相关