哥大 SRE-Bench：GPT-6 Astra 逆向工程解题率近 100%，其余模型不足 60%
banteg · x · 2026-10-17
哥伦比亚大学团队发布的 SRE-Bench 是一个真实、无污染的 agentic 逆向工程基准，用于评估 AI 在网络安全中最难的能力之一：逆向复杂二进制软件。
- 团队与 OpenAI 合作评测其最强模型 GPT-6 Astra：解题率接近 100%，而其他受测模型均在 60% 以下（配图榜单显示 Claude Opus 5.5 内部评测约 80-99%，GPT-5.6-sol 约 55-70%，DeepSeek-V4.1-Flash、Grok 4.5、GLM-5.2 接近 0%）。
- 成本曲线显示 GPT-6 Astra 在低每实例成本下即达高通过率， internals 关闭安全护栏的设置成绩更高。
- 基于这些结果，团队与 OpenAI 开展了更具挑战性的试点评测，并计划推动社区驱动的长期 agentic 网络安全评测。
- 基准现同步上线 Vals AI，论文见 arXiv:2608.11469。
「模型」频道最新
- Opus 主动画火柴人图解镜头构图，理解力惊艳用户 — justin_hart · 2026-10-17
- Rohan 周报:Meta 发 816B 开源模型、Anthropic Q3 营收 168 亿美元 — rohanpaul_ai · 2026-10-17
- Burkov:开源模型与前沿闭源模型的差距只在数据质量 — burkov · 2026-10-17
- NVIDIA 公开 Nemotron 中训练配方:500B token 提升智能体能力 — denisyarats · 2026-10-17
- 速报：Claude 5.5 Haiku 不敌 6.1 Luna，后者约等于 Gemini 3.8 Flash — burkov · 2026-10-17
- Anthropic 发布 Haiku 5.5:成本降 75%,Terminal-Bench 得分远超 GPT-6 Luna — dl_weekly · 2026-10-17