KaliBench:8504 条指令对测 LLM 网安 CLI 能力,开源模型无一超 42%
RISys-Lab · hf · 2026-10-02
RISys-Lab 发布 KaliBench,一个针对 Kali Linux 网络安全工具使用的细粒度基准,评测 LLM 把自然语言意图翻译成可执行 CLI 命令的能力。
- 规模与结构:8504 个 query-command 对,覆盖 1642 个工具、23 个能力维度、5 个安全阶段;基于手册构建,含确定性规范化与别名感知评估,保证可复现。
- 验证管线:结合 LLM 校验、沙箱终端执行与人工复核,可产出无需运行时的可验证奖励(RLVR)。
- 关键发现:在 24 个开源模型配置、3 种评测模式下,无约束设置下没有开源模型超过 42% 的精确命令准确率。
- 训练收益:用 KaliBench 的可验证奖励做 SFT+RL,显著提升 8B 模型,性能接近 685B MoE 模型。
「安全」频道最新
- 黑客组织 TA419 冒充白宫前 AI 官员钓鱼，瞄准 AI 政策专家 — cyb3rops · 2026-10-02
- AI 拒了你的申请,该找谁说理?Reddit 讨算法决申诉困境 — yi111 · 2026-10-02
- Anthropic 漏洞猎手模型发布半年，「安全噩梦」预言并未成真 — redbaron_4 · 2026-10-02
- Cantina 发布开源权重安全研究模型 apex-flash-1,用真实漏洞数据后训练 — ctjlewis · 2026-10-02
- OpenRouter 自查发现 85 名员工挂千余枚 API 密钥,推出安全中心 — AccBalanced · 2026-10-02
- open weights 被称危险?网友:历次「危险」技术都动了信息控制 — 0xAllen_ · 2026-10-02