Bug Hunt Bench 用 105 个真实漏洞实测：模型成本相差近 200 倍
PawelHuryn · x · 2026-09-22
Pawel Huryn 发布 Bug Hunt Bench，用小米仓库中 105 个真实（非人造植入）漏洞实测前沿编程模型，由不同模型家族的盲评裁判对照密钥答案打分，未修复或漏判记 0 分。
首轮结果（得分/花费）：
- Muse Spark 1.3 (max)：32.2 分 / $18.11
- GPT-5.6 Luna (max)：31.5 分 / $2.82
- Grok 4.7 (xhigh)：28.8 分 / $22.89
- MiMo-V2.6-Pro (default)：22.7 分 / $0.86
- DeepSeek V4.1 Flash (max)：21.7 分 / $0.78
- Gemini 3.8 Flash (high)：18 分 / $11.03
作者强调这些并非随机 bug，而是前沿模型在 2026 年初仍难以解决的问题；成本跨度约 200 倍，呈现明显 Pareto 前沿。榜单按“种植漏洞修复数”排序，完整注释与数据公开在 GitHub。
所属事件:Bug Hunt Bench 实测：GPT-6 登顶，MiMo 性价比惊艳(18 条相关)→
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- Plurai 发布 Agent 仿真测试插件:数字孪生让 Agent 先在虚拟世界翻车 — nikola_mr64990 · 2026-11-12
- Agent 说「Done」不等于真做完:Plurai 仿真核验实际行为 — nikola_mr64990 · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12