AutoBaxBench 复测:前沿模型代码安全仍大面积翻车

scaling01 · x · 2026-11-17

markveroe 团队时隔许久更新 AutoBaxBench,重新测量当前前沿模型在安全代码生成上的水平,结论是模型能力大幅进步,但生成的代码里仍存在大量漏洞。

从配图结果看,各模型在 Easy/Medium/Hard 三档任务上「正确且安全」的比例差异明显:Claude Fable 5.2 在 Easy 档达 89%(正确且安全),但 Hard 档只有 68%;Claude Opus 5.5 Easy 档 81%、Hard 档 68%;Gemini 4 Carbon 的 Easy 档仅 61%;GPT-6 Astra 三个档位都在 57-59% 左右;Gemini 4 Argon Easy 档 56%;Muse Wonder 虽然正确率高(93-96%),但其中大量是「正确但不安全」,真正正确且安全的在 Medium/Hard 档只有 48-49%。

整体模式是:任务越难,「正确且安全」比例越低,大量样本落入「正确但存在漏洞」区间,说明正确性与安全性仍是两个明显脱节的维度。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →