PatchHolmes:列表式 agent 检索补洞,Recall@1 超 Favia 25.3 个百分点
StevensAGI · hf · 2026-10-01
Stevens AGI 发布 PatchHolmes,解决漏洞管理的基础难题:主流漏洞公告库中 60%-63% 的 CVE 缺少补丁链接。
- 系统分两阶段:混合检索器初筛 + agentic 第二阶段检查循环
- 与逐条打分的 pointwise 方法不同,第二阶段 agent 一次性看到 top-100 完整列表,通过 4 个限额工具有选择地阅读 3-10 个 commit 后提交唯一最佳答案
- 在 GitHubAD 上,Recall@1 比 pointwise 分类器 Favia 高 25.34%,比 IRCoT 高 31.40%,且每 CVE 只需一次 agent 会话(Favia 需十次)
- 相同候选集下,agent 循环比直接取检索器 top-1 提高 27.32% Recall@1;迁移到 PatchFindertop10 后从 24.28% 提升至 39.86%
- 增益来自列表式 agent 循环本身:换 Qwen 家族骨干变化不到 1%,gpt-oss 同样远超无 agent 基线;全程用冻结开源权重模型 + 本地 Git 仓库,无需微调或外部搜索 API
「研究」频道最新
- CMU 发布 cua-speedrun：同分下 computer-use agent 速度差距可达 4.4 倍 — arankomatsuzaki · 2026-10-01
- OpenAI 基金会资助癌症免疫研究，200 名患者数据将完全开源 — anshulkundaje · 2026-10-01
- 循环复用 Transformer 块：260M 小模型以 4.9 倍低算力胜过 6.5 倍大模型 — arankomatsuzaki · 2026-10-01
- 48 位学者联合发布原子机器学习生态战略路线图 — FrankNoeBerlin · 2026-10-01
- 形式化验证专家批 AI 圈认知落后 15 年：现代 FV 不靠 SMT 与翻译器 — tianyin_xu · 2026-10-01
- 亚马逊提出OPERA动态数据剪枝，微调稠密检索器训练时间减半 — _reachsumit · 2026-10-01