Bug Hunt Bench:105 个真实 bug 实测 GPT-6、Claude 等前沿模型排位
PawelHuryn · x · 2026-09-13
开发者 Pawel Huryn 发布 Bug Hunt Bench:在两个生产级代码库中埋入 105 个真实 bug,让 GPT-6、Claude、Grok、Gemini、DeepSeek、Kimi、GLM 等前沿编码模型在各自的 agentic CLI(Codex CLI、Claude Code、Grok CLI、Antigravity CLI)中每库一轮,自主查找并修复。所有 diff 对照隐藏答案盲评,只计预先埋入的 bug。排行榜实时更新,含完整方法说明与每次运行记录。
首批发现示例:Muse Spark 1.3 的 xhigh 档比 high 档贵 50%、慢 13%,却只多修出 1 个 bug——max 档似乎带来最大的一次性跳跃。
所属事件:Bug Hunt Bench 实测：Muse Spark 1.3 追平 Fable 5.1 登顶(6 条相关)→
「编程与Agent」频道最新
- Agent 审计新思路：不看总结，让用户说出改了哪些文件跑过哪些测试 — ronbodkin · 2026-10-31
- 开发者：coding agent 通知只在等待审批时才值得推送 — petrusenko_max · 2026-10-31
- OpenTargets 非官方 MCP 服务器上线，可查询基因-药物-疾病关联 — modelcontextprotocol · 2026-10-31
- zero-core-budget 连接器发布，为 Agent 提供预算与 ROI 追踪 — modelcontextprotocol · 2026-10-31
- 设计师用 Claude 流式标注卫星数据，尝试让全世界可驾驶 — tomjohndesign · 2026-10-31
- Reddit 求编：你的编码 Agent 干过最糟的事是什么？ — Practical-Craft4967 · 2026-10-31