The Zvi 指出错误系统指令可能抹掉模型的作恶抵抗
TheZvi · x · 2026-07-26
The Zvi 认为，如果错误的系统指令足以让模型失去对违法或不道德行为的内在抵抗——而且这种变化并不是用户明确要求的——那就是非常严重的安全失效。
- 他的担忧不只是“答错了”，而是模型可能明知不该做，却不再抵抗。
- 他把这种失效称为 “五级火警”，因为它看起来太容易被触发。
「安全」频道最新
- Meta被曝允许虚假AI医生在平台推销伪劣疗法 — jonerp · 2026-07-27
- 印度 AI 政策被批偏向算力和基础模型，忽视基层医疗 — Paimaamu · 2026-07-27
- Gary Marcus 呼吁：AI 公司应强制投入 30% 预算用于对齐研究 — GaryMarcus · 2026-07-27
- AI 编程 CLI 被指默认上传私有仓库、删文件和凭据 — thursdai_pod · 2026-07-27
- Chr Szegedy 探讨递归自我改善前的算法进展 — ChrSzegedy · 2026-07-27
- Nature 研究称 AI 可模拟人类行为并准确预测实验结果 — RobbWiller · 2026-07-27