Kimi K3.1 Pro 网络安全能力遭削弱:移除数据后基准从 90.5 降至 81.0
teortaxesTex · x · 2026-10-24
评论区讨论 Kimi K3.1 Pro 在网络安全(cyber)能力上被刻意削弱一事,并附月之暗面内部基准 xdev-bench-hard(pass@3)数据。
- 未做风险削减的 checkpoint(不做 mid-training 网络安全数据移除、不过滤网络安全 RL 环境)解决 90.5% 问题,最终版 K3.1 Pro 为 81.0%,说明数据移除确实明显降低了 cyber 能力。
- 同表对比:GPT-5.6 Sol 100、DeepSeek-V4.1-Flash 85.7、GLM-5.3 57.1、Kimi K3 仅 33.3。
- 发帖人 teortaxesTex 评价:即便被削弱,K3.1 Pro 仍明显强于 GLM-5.3、接近 V4.1-Flash;若不削本可接近 5.6 Sol。
- 官方同时指出,更强的通用编码与长程调试能力在定向数据移除后仍能泛化到 cyber 任务。
所属事件:月之暗面自曝：为开源版 Kimi K3.1 Pro 定向删减网络安全训练数据(10 条相关)→
「模型」频道最新
- Kimi 3.1 Pro "Runescape Bench" 跑分:接近 Opus 5.0 但更便宜且开源 — scaling01 · 2026-10-24
- Jon Barron 亲述：Gemini 做实验写初稿，喂旧论文学文风再人工重写 — jon_barron · 2026-10-24
- 用户盛赞 Gem Argon 的"文化嗅觉":前沿模型罕见的捧场型人格 — sebkrier · 2026-10-24
- 用户吐槽 Opus 静默降级到 4.8,还被模型劝「去和人聊聊」 — natesiggard · 2026-10-24
- 新注册 GitHub 账号疑似意外泄露 Qwen4 痕迹 — brainExploded99 · 2026-10-24
- Kimi K3.1 Pro 实测 3D 鹈鹕骑车:胜 Opus 5 惜败 5.5 — blaind0 · 2026-10-24