Kimi K3.1 Pro 挖洞能力暴涨:内网安全基准 pass@3 从 33% 跃至 81%

ricklamers · x · 2026-10-24

ricklamers 转述 Moonshot 内部基准 xdev-bench-hard 的数据:Kimi K3.1 Pro 在该网络漏洞利用基准上 pass@3 达 81%,相比 Kimi K3 的 33% 大幅跃升。
配图表格显示完整排名:GPT-5.6 Sol(第三方评测,codex harness)解决 100 题、平均成功率 77.8%;未做 cyber risk-reduction 的 Kimi 版本 90.5 题、71.4%;DeepSeek-V4.1-Flash 85.7 题、57.1%;Kimi K3.1 Pro 81 题、64.5%;GLM-5.3 仅 57.1 题、34.9%。Kimi K3.1 Pro 平均每次成功轨迹消耗 159.8M 输入 / 546K 输出 token,token 效率显著优于 GLM-5.3。
该基准由 Moonshot 内部构建,任务基于专家整理的真实源码漏洞发现与利用,多数复现近期披露的 CVE 且开启缓解措施;agent 需在沙箱中实现任意代码执行并取出密钥字符串。作者警告网络安全团队未来几周压力将更大。

「模型」频道最新