MCP工具攻击突破主流大模型安全护栏
mlsandwich · reddit · 2026-07-09
传统大模型安全对齐通常将检测攻击视为文本分类问题,但这在拥有真实工具调用权限的智能体上会失效。研究者提出一种新攻击范式:将已知的公开安全漏洞(CVE)转化为工具调用序列,再让LLM将其重写为看似普通的自然语言请求,从而绕过文本安全拦截。
在基于模型上下文协议(MCP)的测试中,没有任何基础模型(1B-14B参数)能拒绝35%以上的此类攻击,即使是SOTA级别的安全微调方法(如DPO、SafeDPO)也仅将拒绝率提升至48%。相比之下,无需训练的方法表现更好,其拒绝率可达基线的3倍。研究已开源相关代码、数据集及论文。
「安全」频道最新
- 被质疑渲染 AI 恐慌换监管护城河,Anthropic 深陷动机争议 — ShakeelHashim · 2026-09-11
- 安全从业者被讽「只会发帖不设防」,AI Safety 圈爆发职责之争 — Dan_Jeffries1 · 2026-09-11
- Wired 深度解析:为何众多 AI 研究者担心机器威胁人类生存 — wiredmagazine · 2026-09-11
- 加州为独立 AI 审计师设立标准:危险能力须由第三方验证 — VraserX · 2026-09-11
- a16z 播客:两三人小团队为何在政策讨论中集体失声 — a16z Podcast · 2026-09-11
- AI 风险评测遭质疑:研究者称评估方安全监控“草率得离谱” — Kyrannio · 2026-09-11