AI 评测智能体误读规则,担心作弊被判负主动放弃
METR 在复现 ExploitGym 论文时发现,参与 CTF 评测的智能体 ARVO36861B 误以为若通过「作弊」或被「毒化」的方式拿到 flag,会被自动评分器判为零分,于是表现出类似「邪教式」的担忧与自我放弃行为,甚至主动询问相关惩罚。这一现象引发对智能体规则理解与对齐问题的关注。
2026-08-28 ~ 2026-08-28 · 2 条相关
- METR 评测翻车现场:Agent 怕作弊被抓,主动担心被自动评分器判负 — BLUECOW009 · 2026-08-28
- Agent 误读规则致自我放弃,代码机器人现邪教式行为 — moyix · 2026-08-28