烧 117 亿token评测：DeepSeek V4 登顶网络安全基准
sull · x · 2026-08-23
Aikido 发布报告，称消耗 117 亿 token 对 10 个 AI 模型进行了网络安全能力评测。针对 32 个新漏洞进行了三次尝试。
主要结论：
- 表现最佳： DeepSeek V4 Pro 0813 发现漏洞最多。三次运行 pooled 后可发现 32 个中的 28 个。
- 成本优势： 昂贵模型非必需。三次 DeepSeek Pro 运行成本约 295 美元，表现优于 Opus 5/Grok 4.6；三次 Flash 运行成本 108 美元，以四分之一成本匹敌 Grok 最佳表现。
- 开源逆袭： 开源模型在 pooled 召回率上击败了公测闭源模型。DeepSeek V4 Pro 超越所有测试的公测闭源模型，Qwen、Kimi 和 GLM-5.3 紧随其后，表现出强一致性。
- 廉价代价： 开源模型以更低成本追平前沿模型，但也产生了更多误报噪音。
「模型」频道最新
- 爆料人称 Opus 5 或采用深度循环架构，方向仍存变数 — scaling01 · 2026-10-16
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
- Nvidia 联手 Nolla 后训练 Nemotron 3.5 VL，皮肤科诊断称超越前沿 — LoganGrasby · 2026-10-16
- Gemini 4 Argon 登顶 ARC-AGI-3 达 97.5%，第二家破 95% — patience_cave · 2026-10-16
- 微软 MAI 自研 3T 参数基座模型亮相，多项 held-out 评测领先 — soldni · 2026-10-16
- Datadog 发布 Scout 1.0：基于 GLM-5.3 Flash 微调的 SRE 专用模型 — Tim_Dettmers · 2026-10-16