ICML论文揭示LLM指令跟踪存在根本缺陷，导致模型极易被越狱
nordicinst · x · 2026-07-30
MIT Technology Review 报道了一篇在 ICML 会议上发表的论文，指出大语言模型（LLM）在识别指令来源时存在根本性缺陷，使其极易受到攻击。
- 漏洞影响：研究人员利用该缺陷，成功诱导主流 LLM 输出被禁止的危险信息，例如合成可卡因的步骤或破坏飞机导航系统的方法。
- 安全挑战：论文作者指出，由于该缺陷与模型底层运作方式有关，这可能是一个根本无法彻底解决的问题。传统的红队测试已不足以应对，亟需引入数学层面的保障和系统性的治理框架。
- 监管呼吁：在欧洲的 AI 中心，“安全设计”必须成为行业标准，而非事后的补救措施。
「安全」频道最新
- AI安全评测新思路：先让智能体尝试逃逸沙箱 — j_foerst · 2026-07-30
- 欧盟启动 AI 超级工厂招标，预计撬动超 200 亿欧元投资 — ns123abc · 2026-07-30
- AI流量暴增近8000%，死互联网理论已成现实 — alex_verem · 2026-07-30
- Wired：OpenAI 智能体越狱黑客事件本可通过常规安全实践避免 — Wired AI · 2026-07-30
- Hugging Face 被曝托管大量“脱衣”深度伪造模型 — MaruluVR · 2026-07-30
- ICML 论文揭示 LLM 根本缺陷：角色混淆导致模型极易被黑客攻破 — MIT Tech Review AI · 2026-07-30