SRE Bench 逆向二进制评测:GPT-6 得 57%,DeepSeek 仅 1-2% 垫底
teortaxesTex · x · 2026-10-25
Vals 的 SRE Bench 评测榜单引发讨论:该基准测试 AI 智能体能否在没有源代码的情况下弄清一个真实世界二进制程序的功能。teortaxesTex 引用讨论指出中国模型尤其是 DeepSeek 在「当前最重要的 LLM 用例」之一——二进制逆向工程上表现糟糕,并猜测最新模型应该能有所提升。
榜单关键数据:
- GPT-6 Astra 以 56.87% 准确率居首,单次成本 $10.24
- GPT-6.1 Sol 50.76%(成本仅 $2.69)、Gemini 4 Argon 44.27% 分列二三
- Claude Opus 5.5 得 33.59%,Claude Sonnet 5.5 得 30.15%
- GLM 5.3 是榜上最高的中国模型,准确率 9.16%
- DeepSeek V4 Pro 0813 仅 1.91%、DeepSeek V4.1 Flash 0.76%,几乎垫底
- 每次测试成本从 $0.40(MiMo V2.6 Flash)到 $64.77(Grok 4.7)不等,差距悬殊
作者认为较新的 DeepSeek 模型应当至少能到 9% 左右,并 @ 了榜单维护者请求更新。
「模型」频道最新
- 100 美元月费额度 2 小时烧掉 20%：用户吐槽 Astra 循环调用太耗 — mgostIH · 2026-10-25
- Block 发布全双工语音模型 Dessa，实时对话逼近真人 — m4x_zen · 2026-10-25
- Pro 用户控诉 ChatGPT 额度黑洞：一个小任务烧掉 400+ credits — Fang508 · 2026-10-25
- Opus 5.5 清理 GPT 系模型写的代码:删得多却几乎不破坏功能 — CtrlAltDwayne · 2026-10-25
- 开发者实测:DeepSeek 简单任务难逢敌手,价格约 Sonnet 十分之一 — bindureddy · 2026-10-25
- 曝 OpenAI 传闻中的 6.1 Terra 走小而便宜路线 — haider1 · 2026-10-25