MoE黑盒攻击可拖慢首token延迟
新智元 · wechat · 2026-07-18
这篇来自 ICML 2026 的工作提出了针对 MoE 推理服务的黑盒压力测试方法 RepetitionCurse。它不需要权重、梯度，也不需要知道后端专家如何部署，只靠高度重复的输入模式，就能诱导 router 把大量 token 路由到同一小批专家，进而让某些 GPU 成为 straggler，拖慢 TTFT（首 token 延迟）。
论文的主要发现包括：
- 在常见 8-GPU EP 部署上，RepetitionCurse 可让 MoE 模型的 TTFT 增加 20% 到 148%
- 在更稀疏的 Qwen3-30B-A3B 等模型上，EP 扩到 32 时，TTFT 最高增加 115%
- 攻击还能影响同批次正常用户，或者通过占用 prefill 能力让后续请求排队更久
- 这种现象本质上是 routing collapse：重复 token 让 router 产生高度集中的专家分配
文章进一步分析了“脆弱专家”“吸引子专家”的存在，并讨论了几类防御：脆弱性感知的 Expert-GPU 映射、PPL 过滤、动态 EPLB。结论是这些办法只能部分缓解，在高 EP 或小 top-k 场景里效果有限。作者最后给出的启示是：MoE 训练阶段有负载均衡约束，但推理阶段也需要同等强度的调度与隔离机制。
「Infra」频道最新
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11
- PyTorch Day Korea 2026 首届线下大会启动,9月13日截止征集演讲 — PyTorch · 2026-09-11
- 本地跑 LLM 选卡:4 张 CMP-170HX 涨价 vs Mac Studio M5 — rumboll · 2026-09-11
- llama.cpp 为 RDNA4 调优 Flash Attention,大上下文提升明显 — pmttyji · 2026-09-11