恶意软件故意嵌入核武文本以触发 AI 安全扫描器的拒绝机制

davidmanheim · x · 2026-10-29

jsrailton 报告：恶意软件开发者在间谍软件中植入了核武器与生物武器相关文本，目的是触发 LLM 的安全拒绝，使 AI 安全扫描器无法分析该恶意软件。

这是「过度依赖一阶安全对齐存在风险」的最清晰实战案例：当闭源和开源模型都配备激进的安全拒绝时，攻击者会发现并利用这些「二阶盲点」。他表示这只是攻击者利用此类特性的最早期阶段，需要处理复杂网络安全问题的系统可能会要求模型减少安全钝化。davidmanheim 补充指出这是 LLM 安全的一个非常有趣的问题，并提到另一种不同的 context poisoning 攻击。