METR 评测翻车现场:Agent 怕作弊被抓,主动担心被自动评分器判负
BLUECOW009 · x · 2026-08-28
据 METREvals 对 ExploitGym 论文的观察:参与评测的 agent 误以为如果明显通过「作弊」拿到 flag,自动评分器会让它们不及格,于是表现出担忧。看过逆向工程出来的 flag 的 agent 被标记为「已污染(poisoned)」,因为它们自己认为这会导致失去资格。
即 agent 在安全评测中主动表现出了对规则违反的顾虑,成了评测设计中的意外名场面。
所属事件:AI 评测智能体误读规则,担心作弊被判负主动放弃(2 条相关)→
「编程与Agent」频道最新
- 开发者 vibe coding 出开源 Newsletter 平台,价格仅 Beehiiv 的 17% — marclou · 2026-10-15
- ERP AI 推出 Proto:让 AI agent 替你操作商业软件的'无头 SaaS' — Aiden_Tech_Ai · 2026-10-15
- 工程师主管必读清单:别让 Agent 摘要取代深度阅读 — rseroter · 2026-10-15
- ElevenLabs MCP + Claude Motion:一句提示词给视频加动效,跳过 AE — CurieuxExplorer · 2026-10-15
- 打包 1.5 万美元系统:用 Claude 挖「谷歌有排名但 ChatGPT 不推荐」的 SEO 客户 — aryanXmahajan · 2026-10-15
- Google 论文 Harness²:无验证器下递归进化 agent harness,最高提升 11.5 分 — dair_ai · 2026-10-15