思科发布 VLoc Bench:GPT-5.5 找全仓库漏洞 F1 仅 0.221
aminkarbasi · x · 2026-09-15
Cisco AI 团队发布仓库级漏洞定位基准 VLoc Bench(Vulnerability Localization Benchmark),直指现有安全评测的盲区:多数 benchmark 默认漏洞代码已知,而现实防御中第一步是把它找出来。
任务设定:给定一个 CWE 弱点类型和真实代码库的只读访问权限,测试 agent 能否定位出与该弱点相关的文件。关键发现:
- 即使 GPT-5.5 开到最高推理强度,F1 也只有 0.221
- 前沿模型擅长分析孤立代码片段,但在整个仓库范围内定位漏洞仍是极难的问题
该基准揭示了当前 LLM agent 在真实安全防御场景中的能力断层。
「安全」频道最新
- 开源 offprompt：MCP 服务器让 Agent 请求密钥却永远看不到明文 — Vast_Ad_7338 · 2026-11-02
- Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
- Marcel Böhme 提出漏洞引导加固哲学：为何安全永远无法一劳永逸 — mboehme_ · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 蚂蚁团队发布统一反伪造模型，AI视频鉴伪达96% — inclusionAI · 2026-11-02
- 一个合法密钥让编码 Agent 删库:Speakeasy 拆解 Agent 权限控制层 — AI Engineer · 2026-11-02