vLLM 推出实验性 AFD 插件，将 MoE 注意力与 FFN 服务拆分
AccBalanced · x · 2026-07-25
- vLLM 新增了一个实验性的 AFD Plugin，由 Ascend & vLLM、StepFunai、AntGroup、FastAFD 等团队参与。
- 它做的是 Attention-FFN Disaggregation：把 MoE 推理里的 attention 路径和 expert/FFN 路径拆成不同服务，从而可以分别扩容。
- 这意味着仍然沿用 vLLM 的服务接口，不需要 fork 出一套新栈。
- 帖子还提到它同时面向 NVIDIA GPU 和 Ascend NPU。
所属事件:vLLM 发布实验性 AFD 插件提升 MoE 推理性能(3 条相关)→
「Infra」频道最新
- Anthropic 营收三年暴涨 4000 倍,上半年已入账 163 亿美元 — daniel_mac8 · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27
- YC 系创企 Hopper 出击语音推理：TTFT 80ms、价格为 GPT-4.1 的 15% — ycombinator · 2026-10-27
- a16z 数据:A100 租赁价格 2026 年仍在涨,旧卡并未贬值 — VraserX · 2026-10-27
- Anthropic S-1 曝超 8000 亿美元未入表的未来算力承诺 — GaryMarcus · 2026-10-27
- Anthropic 约 11GW 算力合同中 NVIDIA GPU 占约 42% — ns123abc · 2026-10-27