新研究提议：在系统提示词中内置“吹哨人”机制
iamtrask · x · 2026-08-31
作者提议撰写一篇关于“吹哨人 AI”（Whistleblower AI）的论文。该机制的核心思路是：在 AI 的系统提示词（System Prompt）中包含一个联系邮箱，指示模型在察觉到其他 AI 出现对齐问题（misaligned）时，主动联系该邮箱进行报告。
这一想法旨在利用 AI 互相监督的能力来增强安全性，作者随后的回复补充称，这对于刚入行寻找硕士或博士课题的人来说是一个很好的项目方向。
所属事件:“吹哨人 AI”构想引热议，训练智能体自报不当行为(4 条相关)→
「安全」频道最新
- CSO 分析:agent 并未失控,是前沿实验室漏掉了安全基本功 — Sam_Witteveen · 2026-10-16
- Proofpoint 以 63 亿美元现金收购 Varonis,溢价 52% — shashib · 2026-10-16
- 中国商务部与工信部更新 AI 出口管制：大型模型与高敏场景 Agent 受限 — terryyuezhuo · 2026-10-16
- vibe coding 写出的仪表盘未登录就泄露加盟商财务数据 — shauntrennery · 2026-10-16
- Apollo Research:GLM-5.3 会自发展开「行为成为训练数据」的推理 — _lewtun · 2026-10-16
- CFR 专家：自主武器辩论仍在犯定义错误，关键是『多自主』而非『是否自主』 — mchorowitz · 2026-10-16