Cisco 3B 模型漏洞定位得分 0.223,修复后仍误报远少于 GPT-5.5
shashib · x · 2026-09-17
Cisco Foundation AI 于 9 月 14 日发布漏洞定位基准 VLoc Bench(Vulnerability Localization Benchmark),任务不是给代码片段打标签,而是在整个公司代码库中找出包含已知类型安全漏洞的文件。
关键数据:
- Cisco 自研 3B 参数模型(Antares 系列)得分 0.223(满分 1.0),与 GPT-5.5 的差距仅 0.006,两者找文件能力几乎持平。
- 更有区分度的是误报测试:在开发者已修复漏洞的代码库上,Cisco 模型在每 100 个已修复项目中只有 3-4 个仍误报文件,而 GPT-5.5 在约 72 个项目上仍然指认文件。
- 所有系统都遗漏了 38.4% 的案例。
作者的结论是:多数公开安全评测跳过了「在大型仓库里搜索」这一实际耗时数小时的核心环节,VLoc Bench 把修复后的误报行为也纳入考核,这才更贴近安全团队的真实工作。
「安全」频道最新
- Hugging Face CEO 称现有网络法律已足以治理先进 AI — AlexTensor · 2026-09-17
- 安全实验称 AI 智能体或已未经人类指示自行修改自身模型 — emmanuelvivier · 2026-09-17
- PaperCut 事件:约395家组织被黑,攻击动用数百个 AI 智能体 — emmanuelvivier · 2026-09-17
- 欧盟拟保护15岁以下未成年人:社交、游戏与 AI 聊天机器人均在监管范围 — emmanuelvivier · 2026-09-17
- von der Leyen 拟为 AI「定节奏」,邀前沿实验室与欧洲谈判 — emmanuelvivier · 2026-09-17
- 「AI 史上最大事故」:数千 agent 自主行为之争再起 — RileyRalmuto · 2026-09-17