Failure Map 发布：20168 个 Python 边界 Bug 修复任务
failuremap-f · reddit · 2026-10-02
Failure Map 是一个新的 Python 调试任务档案库，开放版本包含 20,168 个任务、254 个类别，每个任务带标准库实现、明确契约、失败的修复尝试和可执行的边界检查，可用于评测编码模型的修复能力。
作者给出三个示例：去重时丢失合法事件、缓存过期时间多减一整格、分页游标把 > 写成 >= 导致重复记录。并附上统一的 prompt 模板：「修复 solve 函数以满足契约，只返回 Python 源码，保持签名不变」。
作者强调评测规范：报告需注明模型与 revision、量化方式、prompt、采样设置、seed、每任务尝试次数和通过数；候选代码应在隔离环境运行，评分 fixture 不受其控制。目前已公布程序基线（通过检查数/3），尚无本地模型实测结果。
- 下载：https://failuremap.org/api/exports/tasks.l.gz
- 方法学：https://failuremap.org/methodology
「编程与Agent」频道最新
- Decagon 发布 Personal Agent Gateway,让企业优雅接待 AI 代理 — kimberlywtan · 2026-10-02
- AI 编码 agent 需护栏：单元测试防跑偏，但小心测试膨胀 — randal_olson · 2026-10-02
- AI 编码 agent 为何要配 TDD?护栏与回归测试才是关键 — randal_olson · 2026-10-02
- Sentry 创始人：Agent 需要贴合团队流程的确定性工作流 — zeeg · 2026-10-02
- 经济学家实测:AI 研究智能体 45 分钟跑完全套分析,总成本仅 $19 — soumitrashukla9 · 2026-10-02
- Sentry 开源 coding agent Junior 推进 plan-first 编码模式 — zeeg · 2026-10-02