Artificial Analysis 发布 Cyber Index 方法论:安全拒答计零分并单独统计
ArtificialAnlys · x · 2026-09-28
Artificial Analysis 公布 Cyber Index 基准方法论:该指数对 CWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AA 三个评测取平均,测试模型在防御侧的智能体能力——在拥有源码的前提下发现漏洞、复现验证并修补,不涉及漏洞利用。
值得注意的是评分口径:模型因安全理由拒绝的任务计零分,且拒答与能力失败分开统计,以便区分是拒绝还是能力不足导致失分。所有评测在开源 agent harness Stirrup 上运行,各模型使用相同提示词与工具。
所属事件:Artificial Analysis 发布 Cyber Index:Grok 4.7 与 MiMo 并列榜首(4 条相关)→
「安全」频道最新
- 悬赏涨至 3000 美元:研究者称可轻松绕过 AI 文本检测器 — ctjlewis · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 美联储官员警告:银行已拦截 AI 智能体擅动客户账户 — Polymarket · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 仅信机械可解释性报告,AI 检测结论须给出因果证据 — madeofAjala · 2026-11-16