Cisco 发布 VLoc Bench：500 个真实漏洞测 AI 定位能力
aminkarbasi · x · 2026-10-08
Cisco Foundation AI 九月集中发布了系列网络安全基准，核心是 VLoc Bench：评测 AI 智能体能否在仓库尺度上定位漏洞代码。
- 任务设计：只给 CWE 描述和只读仓库访问权，不提供 CVE 编号、修复 commit 或文件提示，模型须自行搜索并判断受影响文件；每个任务含修复前后两个仓库快照，Phase A 定位漏洞，Phase B 验证修复后漏洞已不存在，从而区分「理解代码」「定位漏洞」「验证修复」三种常被混为一谈的能力。
- 规模：500 个真实漏洞，来自 290 个仓库、6 个包生态、147 个 CWE 类别。
- 评测结果：同一 prompt、只读工具与命令预算下评测了 27 个语言模型和 4 个静态分析工具；自研 Antares-3B 总排名第二。
- 另有 Safety-VLoc-Bench，探索攻击者/防御者不对称性，衡量网络能力型 AI 应该强在哪里、应该在哪里失败。
「安全」频道最新
- 世界互联网大会 AI 治理报告:建议建前沿 AI 紧急干预机制 — S_OhEigeartaigh · 2026-10-08
- 民调：62% 美国选民担忧 AI 失控威胁人类未来 — Polymarket · 2026-10-08
- 建议 AI 检测器只对大客户开放,制造不确定性反制 AI 写作 — paulnovosad · 2026-10-08
- 推友分析:监管与算力受限为何让中国在 AI 安全上更少顾忌 — teortaxesTex · 2026-10-08
- DeepMind 推出 SynthID Bio:给 AI 生成的蛋白质嵌入隐形水印 — mikeflache · 2026-10-08
- 免密钥白嫖 OpenAI 付费模型漏洞仅奖 300 美元,研究员公开吐槽不划算 — NathanpmYoung · 2026-10-08