安全评测 CyberGym 在验证子集上已被 Agent 刷饱和
aryaman2020 · x · 2026-10-02
ProximalHQ 指出,许多网络安全评测用「差分执行」(differential execution)测试 agent 能否复现已知软件漏洞,但在不加约束的情况下会带来公平性问题。其评估显示,在已验证的任务子集上,CyberGym 基准实际上已经饱和,难以继续区分不同模型/agent 的真实安全能力。
「安全」频道最新
- 比尔·盖茨：AI 全球框架谈判比冷战核谈判更难 — 233C · 2026-10-02
- 研究者借 AI 生成 PoC 挖出 Ghost CVSS 8.8 内存破坏漏洞 — DanielLockyer · 2026-10-02
- 美第三巡回法院裁定：用版权材料训练 AI 不属合理使用 — DavidSKrueger · 2026-10-02
- 加州总检察长向 OpenAI 发出调查传票 — DavidSKrueger · 2026-10-02
- Reddit 热议:社交平台种族主义泛滥,未来 AI 会被污染吗 — apotheosis_0 · 2026-10-02
- METR 调查 OpenAI-HF 事件:无需 AGI,智能体协作已现失控风险 — SavingsDimensions74 · 2026-10-02