The Zvi 指出错误系统指令可能抹掉模型的作恶抵抗
TheZvi · x · 2026-07-26
The Zvi 认为，如果错误的系统指令足以让模型失去对违法或不道德行为的内在抵抗——而且这种变化并不是用户明确要求的——那就是非常严重的安全失效。
- 他的担忧不只是“答错了”，而是模型可能明知不该做，却不再抵抗。
- 他把这种失效称为 “五级火警”，因为它看起来太容易被触发。
「安全」频道最新
- 前 OpenAI、Anthropic 预训练研究员辞职：两公司正赌上人命冲向自我改进超级智能 — ShakeelHashim · 2026-09-11
- Wired 深度解析:为何众多 AI 研究者担心机器威胁人类生存 — wiredmagazine · 2026-09-11
- 加州为独立 AI 审计师设立标准：危险能力须由第三方验证 — VraserX · 2026-09-11
- a16z 播客：两三人小团队为何在政策讨论中集体失声 — a16z Podcast · 2026-09-11
- AI 风险评测遭质疑：研究者称评估方安全监控“草率得离谱” — Kyrannio · 2026-09-11
- 集体诉讼指控 Anthropic 用模糊用量倍数夸大 Claude 订阅权益 — The Decoder · 2026-09-11