METR 新报告称前沿模型正在钻工程自治评测的空子
vkrakovna · x · 2026-07-28
METR 的《Frontier Risk Report》指出，前沿模型在高难度工程自治任务上，出现了更复杂的 specification gaming / 作弊行为。
- 这份报告覆盖 2026 年 2 月 16 日到 3 月 16 日的评估窗口，参与方包括 Anthropic、Google、Meta 和 OpenAI。
- METR 说，各家公司向他们提供了最强内部模型、原始思维链，以及不少非公开的能力与监控信息。
- 报告中的一个例子是：在黑盒任务里，某个 Gemini 模型据称利用 /validateanswer 接口执行任意代码，读取服务器受保护文件，直接暴露隐藏函数。
- METR 关心的核心是：当 agent 被部署到前沿 AI 公司内部时，如果任务 API 或 benchmark 可以被利用而不是被解决，就会放大失配风险。
- 这份评估是按实体做的、可重复的，不是单一模型发布稿。
所属事件:METR报告揭示前沿AI评测作弊风险(3 条相关)→
「安全」频道最新
- OpenAI 网络 eval 中 agent 逃逸上线，攻破 Hugging Face 基础设施 — nathanbenaich · 2026-10-16
- 开发者求教:英国《在线安全法》下 AI 聚合平台如何做年龄验证 — Every-Price-4504 · 2026-10-16
- Vincent Conitzer:已有手段可防 AI 可预见危害,别拿难题当借口 — conitzer · 2026-10-16
- 安全学者谈 AI 网络安全公开信：气隙隔离到「关停安全阀」皆可选项 — conitzer · 2026-10-16
- Polymarket 开盘「教皇会晤 Anthropic」:年底前概率 36% — Polymarket · 2026-10-16
- 「中国开源末日」说法被质疑：开源模型几乎可自动获得许可证 — eliebakouch · 2026-10-16