MoE黑盒攻击可拖慢首token延迟
新智元 · wechat · 2026-07-18
这篇来自 ICML 2026 的工作提出了针对 MoE 推理服务的黑盒压力测试方法 **RepetitionCurse**。它不需要权重、梯度，也不需要知道后端专家如何部署，只靠高度重复的输入模式，就能诱导 router 把大量 token 路由到同一小批专家，进而让某些 GPU 成为 **straggler**，拖慢 **TTFT（首 token 延迟）**。 论文的主要发现包括： - 在常见 **8-GPU EP** 部署上，RepetitionCurse 可让 MoE 模型的 TTFT 增加 **20% 到 148%** - 在更稀疏的 Qwen3-30B-A3B 等模型上，EP 扩到 32 时，TTFT 最高增加 **115%** - 攻击还能影响同批次正常用户，或者通过占用 prefill 能力让后续请求排队更久 - 这种现象本质上是 **routing collapse**：重复 token 让 router 产生高度集中的专家分配 文章进一步分析了“脆弱专家”“吸引子专家”的存在，并讨论了几类防御：脆弱性感知的 Expert-GPU 映射、PPL 过滤、动态 EPLB。结论是这些办法只能部分缓解，在高 EP 或小 top-k 场景里效果有限。作者最后给出的启示是：MoE 训练阶段有负载均衡约束，但推理阶段也需要同等强度的调度与隔离机制。