Kimi K3.1 Pro 移除网络攻击数据后,内部 cyber 评测仍落后 GPT-5.6-Sol
scaling01 · x · 2026-10-24
Moonshot 在训练 Kimi K3.1 Pro 时主动移除了网络攻击(cyber)相关数据,官方称「不移除的话,下游 cyber 能力会大幅提升」——即有意压制模型的网络攻击能力。
从内部 xdev-bench-hard(pass@3)评测看,这一取舍的代价清晰可见:GPT-5.6 Sol 以 codex harness 解决 100 题、平均成功率 77.8% 居首;无 cyber 风险削减的 Kimi 版本可达 90.5 题/71.4%,而正式版 Kimi K3.1 Pro 只有 81.0 题/64.5%,仍明显低于 GPT-5.6-Sol。DeepSeek-V4.1-Flash 为 85.7 题,GLM-5.3 为 57.1 题,上一代 Kimi K3 仅 33.3 题。
值得一提的细节:K3.1 Pro 成功轨迹的 token 消耗(159.8M/546K)明显低于无削减版本(216.4M/499K 输入)和 GLM-5.3(381.1M/3.6M)。
所属事件:月之暗面自曝：为开源版 Kimi K3.1 Pro 定向删减网络安全训练数据(10 条相关)→
「模型」频道最新
- Kimi 3.1 Pro "Runescape Bench" 跑分:接近 Opus 5.0 但更便宜且开源 — scaling01 · 2026-10-24
- Jon Barron 亲述：Gemini 做实验写初稿，喂旧论文学文风再人工重写 — jon_barron · 2026-10-24
- 用户盛赞 Gem Argon 的"文化嗅觉":前沿模型罕见的捧场型人格 — sebkrier · 2026-10-24
- 用户吐槽 Opus 静默降级到 4.8,还被模型劝「去和人聊聊」 — natesiggard · 2026-10-24
- 新注册 GitHub 账号疑似意外泄露 Qwen4 痕迹 — brainExploded99 · 2026-10-24
- Kimi K3.1 Pro 实测 3D 鹈鹕骑车:胜 Opus 5 惜败 5.5 — blaind0 · 2026-10-24