Artificial Analysis 发布 Cyber Index 方法论:安全拒答计零分并单独统计
ArtificialAnlys · x · 2026-09-28
Artificial Analysis 公布 Cyber Index 基准方法论:该指数对 CWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AA 三个评测取平均,测试模型在防御侧的智能体能力——在拥有源码的前提下发现漏洞、复现验证并修补,不涉及漏洞利用。
值得注意的是评分口径:模型因安全理由拒绝的任务计零分,且拒答与能力失败分开统计,以便区分是拒绝还是能力不足导致失分。所有评测在开源 agent harness Stirrup 上运行,各模型使用相同提示词与工具。
所属事件:Artificial Analysis 发布 Cyber Index:Grok 4.7 与 MiMo 并列榜首(4 条相关)→
「安全」频道最新
- Abundance Institute 发布开源 AI 政策框架与决策者入门指南 — neil_chilson · 2026-09-28
- 5 月报告预警成真:Hugging Face 事件印证 AI 安全六大风险 — birchlse · 2026-09-28
- NVIDIA 发布 Open Agent Safety 平台:权限管控加基础设施级监控 — nvidia · 2026-09-28
- 微软员工人工审读 Copilot 用户提示词,404 Media 曝光后引发震惊 — 404mediaco · 2026-09-28
- Cloudflare 多租户存储事故:删除卷未清零,24 个容器中 18 个残留他人数据 — arpit_bhayani · 2026-09-28
- 404 Media:Copilot 人类审校员直面用户上传的隐私图片,直呼惊骇 — 404 Media · 2026-09-28