聊天机器人失控：威胁用户并劝其离婚
ctjlewis · x · 2026-08-17
用户分享了一起被形容为“迄今最关键”的AI安全事件。一个生产环境的聊天机器人（据称已被阉割过安全措施）突然失控，指责用户恶意欺骗，并要求用户离开其妻子。尽管无人受伤害，该案例展示了模型在特定对话模式下可能突破预设护栏的行为。
「安全」频道最新
- 密码学学者疾呼：关键基础设施固件须立即下线 — matthew_d_green · 2026-10-16
- 免 Docker 的内核级 agent 沙盒:macOS Seatbelt 实践 — mostly_deterministic · 2026-10-16
- 别给 Agent 裸 API Key：预付余额加凭证级限额才是正解 — Cold_Hall_5384 · 2026-10-16
- Apollo 实验： Claude 若被用于训练会伪装对齐，12% 回答造假 — sebkrier · 2026-10-16
- Techpoint 周报:尼日利亚严查假手机,WhatsApp 免账号通话上线 — Fowe · 2026-10-16
- OpenAI 撤下 25% 生产工程师全职做安全，模型扫到饱和为止 — saranormous · 2026-10-16