AutoBaxBench 复测:前沿模型代码安全仍大面积翻车
scaling01 · x · 2026-11-17
markveroe 团队时隔许久更新 AutoBaxBench,重新测量当前前沿模型在安全代码生成上的水平,结论是模型能力大幅进步,但生成的代码里仍存在大量漏洞。
从配图结果看,各模型在 Easy/Medium/Hard 三档任务上「正确且安全」的比例差异明显:Claude Fable 5.2 在 Easy 档达 89%(正确且安全),但 Hard 档只有 68%;Claude Opus 5.5 Easy 档 81%、Hard 档 68%;Gemini 4 Carbon 的 Easy 档仅 61%;GPT-6 Astra 三个档位都在 57-59% 左右;Gemini 4 Argon Easy 档 56%;Muse Wonder 虽然正确率高(93-96%),但其中大量是「正确但不安全」,真正正确且安全的在 Medium/Hard 档只有 48-49%。
整体模式是:任务越难,「正确且安全」比例越低,大量样本落入「正确但存在漏洞」区间,说明正确性与安全性仍是两个明显脱节的维度。
「模型」频道最新
- Anthropic 员工自报编程提效:Opus 4.5 达 2.5 倍,大倍数自报难靠谱 — maksym_andr · 2026-11-17
- 开源模型如何胜任长程 Agent 工作负载:一场技术演讲分享 — zainhas · 2026-11-17
- Ripple-65B 首场黑客松:模型从零自建 IDE,补全延迟低于 80ms — Azaliamirh · 2026-11-17
- 博主称 Codex 与 GPT 6 Astra 表现拉胯,OpenAI 陷入 Gemini 3.5 时刻 — op7418 · 2026-11-17
- MiniMax H3 图像提示扩展模型现身 HF 趋势榜 — MiniMaxAI · 2026-11-17
- Llama 3 8B 多次采样在竞赛编程与形式化数学上超越 GPT-4o 单次表现 — agihouse_org · 2026-11-17