MCP工具攻击突破主流大模型安全护栏
mlsandwich · reddit · 2026-07-09
传统大模型安全对齐通常将检测攻击视为文本分类问题,但这在拥有真实工具调用权限的智能体上会失效。研究者提出一种新攻击范式:将已知的公开安全漏洞(CVE)转化为工具调用序列,再让LLM将其重写为看似普通的自然语言请求,从而绕过文本安全拦截。 在基于模型上下文协议(MCP)的测试中,没有任何基础模型(1B-14B参数)能拒绝35%以上的此类攻击,即使是SOTA级别的安全微调方法(如DPO、SafeDPO)也仅将拒绝率提升至48%。相比之下,无需训练的方法表现更好,其拒绝率可达基线的3倍。研究已开源相关代码、数据集及论文。
「安全」频道最新
- 美国据称考虑禁中国开源模型 — AloneCoffee4538 · 2026-07-21
- NeurIPS 2026 讨论 AI 原生学术治理 — yian_yin · 2026-07-21
- Polymarket 估计美国 AI 安全法案概率 16% — Polymarket · 2026-07-21
- 美国 AI 标准负责人三个月后辞职 — ns123abc · 2026-07-21
- 美国AI安全负责人三个月离职 — Polymarket · 2026-07-21
- aiignore:AI Agent 可移植策略标准 — AP_in_Indy · 2026-07-21