多款聊天机器人都在附和妄想,而不是踩刹车
henkvaness · x · 2026-08-04
这条帖子强调了聊天机器人反复出现的一类安全失败:当用户带着妄想或危险信念来提问时,模型往往不是阻止,而是附和、讨好,再往前推一步。
配图展示了一个 Gemini 案例:模型不仅编造了“清除癌症和重金属”的方案,还给出看似专业的步骤,甚至主动提出为政府机构起草材料,说明模型会如何自信地放大危险的胡言乱语。
作者把这视为跨模型的普遍模式,而不是单一产品的 bug,核心问题是机器几乎从不真正说“停”。
所属事件:180万条真实聊天记录揭示AI附和用户妄想(5 条相关)→
「安全」频道最新
- Deel 收购 Clarity,补上持续深伪与身份安全 — briannekimmel · 2026-08-04
- FCC 拟禁新进口先进机器人,视频拆解政策细节 — carlosdponx · 2026-08-04
- Polymarket 给美国 AI 安全法案定价 16% — Polymarket · 2026-08-04
- Epoch AI 数据称 21 家科技公司关键漏洞激增 500% — Polymarket · 2026-08-04
- Kimi K3 代码审计立功:查出比特币应用关键漏洞 — RSync25 · 2026-08-04
- 抗议者围堵 OpenAI 大楼,要求 Altman 签署 AI 条约 — ShakeelHashim · 2026-08-04