阿里推首个攻破后应急响应基准,23个前沿大模型无一通关
Alibaba-NLP · hf · 2026-07-30
阿里巴巴团队推出名为 SecRespond 的新基准测试,专门用于评估 LLM 智能体在真实世界“攻破后”安全事件中的应急响应能力。
现有安全评测多聚焦于攻击发生前的理想环境,而该基准要求智能体基于被入侵主机的磁盘快照、警报和漏洞扫描结果,生成取证报告并制定补救计划。
- 测试范围:覆盖 10 个不同云主机网络靶场,包含 4 种入口点、21 项 ATT&CK 技术和 5 种操作系统。
- 评测结果:对 23 个前沿大模型的测试表明,尽管模型能根据警报发现问题,但在主动排查“静默入侵”和生成全面补救计划方面困难重重。
- 核心结论:没有任何一个模型能在任何单一场景下实现完全的检测与修复,这揭示了当前构建实战安全智能体的根本瓶颈。
「安全」频道最新
- Hexacon 大会现场演示 iOS 27.0.1 iPhone 18 Pro 无 tether 越狱 — jedisct1 · 2026-10-16
- 中国新规:超2T参数或10^26 FLOPS训练的模型开源出口需商务部许可 — zephyr_z9 · 2026-10-16
- 中国后量子签名 Origami 被攻破,公钥即可伪造签名 — matthew_d_green · 2026-10-16
- 400+ 研究者联署 AI 网络安全公开信:对齐与隔离缺一不可 — ghadfield · 2026-10-16
- 名人AI深度伪造泛滥,百万粉认证账号发假图获50万赞 — ChuckDBrooks · 2026-10-16
- 《纽约客》史料:Brockman 2017 年对安全联盟提案只问「怎么赢」 — ben_j_todd · 2026-10-16