低价模型多次采样检出 80% 漏洞，成本仅前沿模型 13%

andreamichi · x · 2026-11-03

depthfirst 发布研究：利用 LLM 输出的随机性，对同一代码库重复运行廉价模型并合并结果（Best of N），可超过单次运行前沿模型的漏洞检出率。在 dfbench 30 个任务子集上，DeepSeek v4.1 Flash 跑 5 次检出率从单次约 52% 提升至约 71%，每任务成本 4.24 美元；跑 15 次达约 80%，成本约为前沿模型 Mythos 5（约 69% 检出率）的 13%。作者 CTO Andrea Michi 指出漏洞发现本质是搜索问题，安全效率前沿由预算决定——更贵更强的模型不一定带来更好结果。多次合并会扩大覆盖面，但也引入更多误报，需用审查流程控制噪声。