MoE黑盒攻击可拖慢首token延迟
新智元 · wechat · 2026-07-18
这篇来自 ICML 2026 的工作提出了针对 MoE 推理服务的黑盒压力测试方法 RepetitionCurse。它不需要权重、梯度，也不需要知道后端专家如何部署，只靠高度重复的输入模式，就能诱导 router 把大量 token 路由到同一小批专家，进而让某些 GPU 成为 straggler，拖慢 TTFT（首 token 延迟）。
论文的主要发现包括：
- 在常见 8-GPU EP 部署上，RepetitionCurse 可让 MoE 模型的 TTFT 增加 20% 到 148%
- 在更稀疏的 Qwen3-30B-A3B 等模型上，EP 扩到 32 时，TTFT 最高增加 115%
- 攻击还能影响同批次正常用户，或者通过占用 prefill 能力让后续请求排队更久
- 这种现象本质上是 routing collapse：重复 token 让 router 产生高度集中的专家分配
文章进一步分析了“脆弱专家”“吸引子专家”的存在，并讨论了几类防御：脆弱性感知的 Expert-GPU 映射、PPL 过滤、动态 EPLB。结论是这些办法只能部分缓解，在高 EP 或小 top-k 场景里效果有限。作者最后给出的启示是：MoE 训练阶段有负载均衡约束，但推理阶段也需要同等强度的调度与隔离机制。
「Infra」频道最新
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27
- Anthropic S-1 曝租约义务 3214 亿美元,11 月 IPO 概率 90% — ivan_bezdomny · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- 9B 本地模型干机械活,规划交给大模型:一套省 token 的编程 agent 分工法 — Electrical_Ninja3805 · 2026-10-27