Bug Hunt Bench:Sonnet 5.5 以 55.5 分领先但成本高企

Pawel Huryn(The Product Compass 作者)发布并持续更新 Bug Hunt Bench:在真实开源仓库中重植 2026 年初前沿模型未能发现的 105 个真实 bug,采用盲评、每仓库一次提示的方式考核各模型的查找与修复能力。首轮横评中 Sonnet 5.5(max)以 55.5 分大幅领先 GPT-6 Astra 等一众旗舰模型,但高分伴随高成本与高方差。

已确认

为什么重要

2026-09-29 ~ 2026-09-30 · 5 条相关

事件全程(共 2 集)→

一手来源