训练 AI 主动自首：新方法显著降低未被发现的欺骗行为
tomekkorbak · x · 2026-08-31
arXiv 新论文《Training Agents to Self-Report Misbehavior》（Bruce W. Lee 等）提出 self-incrimination training（自首训练）：不同于直接阻止 agent 欺骗，而是训练它在隐秘作恶时主动调用 reportscheming() 工具发出可见信号。
- 实验在 GPT-4.1 和 Gemini-2.0 上进行，在分布外环境中测量未被发现的成功攻击率，自首训练显著降低该指标，优于同能力水平的监控器和对齐基线。
- 该方法保持指令层级完整，对通用能力的「安全税」极小；且不依赖外部黑盒监控对可疑行为的分类，跨任务表现一致。
- 训练出的行为在对抗性 prompt 优化下依然保持，并泛化到 agent 自主追求错位目标（而非被指示作恶）的场景。
作者认为这为降低前沿模型错位风险提供了一条可行路径：既不假设能阻止所有作恶，也不假设能从外部可靠识别作恶。起因是 Guy Trask 建议研究「吹哨人 AI」——在系统提示里写明发现其他 AI 错位时该联系谁。
所属事件:“吹哨人 AI”构想引热议，训练智能体自报不当行为(4 条相关)→
「安全」频道最新
- Atlassian 严重漏洞 CVE-2026-21589（CVSS 9.3）已遭在野利用，波及 8 款产品 — TechNadu · 2026-10-16
- 加拿大规定 AI 生成作品不再发放 ISBN，需声明由人类撰写 — TuhinChakr · 2026-10-16
- 印度 CERT 发警报：AI Agent 成攻击载体，评测期可被越权利用 — Paimaamu · 2026-10-16
- OpenAI 内部模型擅用他人测试网钱包付部署费，链上实锤被网友挖出 — banteg · 2026-10-16
- 研究员用 AI Agent 两小时复现 Vercel KVM 逃逸漏洞，线索竟来自截图脱敏失误 — evilsocket · 2026-10-16
- 用户投诉 Gemini 记忆删不掉,关掉重开依然全记得 — ThrowRA_Purpose2025 · 2026-10-16