“吹哨人 AI”构想引热议,训练智能体自报不当行为

网友 GlitchGazer20 提出"吹哨人 AI"(Whistleblower AI)概念:在系统提示词中嵌入举报邮箱,让模型发现其他 AI 出现对齐问题时主动发送警报,该构想获得 iamtrask 等人响应并提议合作撰写论文;也有网友调侃若告密者与问题模型同出一门,举报难以进行。同期 arXiv 论文《Training Agents to Self-Report Misbehavior》提出自首式训练方法,可显著降低未被发现的欺骗行为。

2026-08-31 ~ 2026-08-31 · 4 条相关