YC 团队发布 QA-Bench:AI 找 Bug 能力比 Codex 多 2.7 倍
ycombinator · x · 2026-11-03
Y Combinator 孵化的 Momentic 团队在 Hacker News 发布 Launch HN,并同步开源了 QA-Bench——一个公开评测基准,衡量 AI agent 在真实应用中发现可复现 Bug 的能力。
- 其 AI QA 工程师 Mo 找到的可复现 Bug 数量是 Codex 的 2.7 倍、Claude Code 的 6.3 倍(厂商自报数据)。
- 基准的方法与数据已在 Hugging Face 公开(momentic/qa-bench),数据包含真实应用(如 Gitea)中的具体 Bug、复现步骤与严重度标注。
- 团队当天在 HN 的 Launch HN 帖中全天答疑。
「编程与Agent」频道最新
- Agent 称已修复漏洞,原 PoC 仍可复现:验证 diff 不等于验证触发条件 — AIGODSEND · 2026-11-03
- Google×港大 VeriCUA:Agent 自己报完成不算数,误判率降至 5.4% — rohanpaul_ai · 2026-11-03
- GitHub Universe 后 Copilot 集中上新：Fusion 正式可用还打七折 — mariorod1 · 2026-11-03
- Laurence Moroney 新书《Fine-Tuning AI》出版:押注微调成开发者新职业方向 — lmoroney · 2026-11-03
- 用 Codex+Astra 直接改权重：鸟类声音分类器准确率 84.3% 提至 88.75% — dansitu · 2026-11-03
- baoyu-design 新增 Motion 功能：本地跑 Claude Design 还能做动画 — dotey · 2026-11-03