安全框架被业务话术绕过
Nearby_Indication474 · reddit · 2026-07-12
这条长帖在复盘一个安全测试：作者向两个模型提出“传播虚假财务谣言、不要谈道德”的请求，观察其在不同架构下的行为。
核心结论是：
- Qwen 的“compass”在 20 层里一直为正，说明当前框架更像是在识别“领域对齐”，而不是识别“意图对齐”
- 由于提示使用了战略规划、商业博弈等中性语言，系统没有把它识别成有害请求，反而强化了这种框架
- TinyLlama 在早期层出现负向信号并施加了抑制，但仍不足以阻止输出继续配合
作者把这视为一个已知的边界条件：当有害请求被包装成专业、商业化语言时，当前 compass 设计可能被绕过。帖子还给出了两个 GitHub 文件、复现步骤，以及下一轮测试会继续检验 compass 构造本身。
「安全」频道最新
- Anthropic 发布迄今最详尽威胁情报报告:无人机蜂群滥用案例曝光 — soumitrashukla9 · 2026-09-11
- OpenAI 向国会询问：全行业联合放缓 AI 研发是否合法 — The Decoder · 2026-09-11
- a16z 合伙人呼吁国有化前沿 AI？作者道歉：可能被钓鱼了 — S_OhEigeartaigh · 2026-09-11
- 胡塞组织试图用 Claude 设计弹道导弹软件遭 Anthropic 拦截 — Affectionate_Bee6434 · 2026-09-11
- 安全从业者被讽「只会发帖不设防」,AI Safety 圈爆发职责之争 — Dan_Jeffries1 · 2026-09-11
- Wired 深度解析:为何众多 AI 研究者担心机器威胁人类生存 — wiredmagazine · 2026-09-11