vLLM 完整支持 DeepSeek-V4.1-Flash 新架构,含投机解码与 PD 分离
vllm_project · x · 2026-09-10
vLLM 项目宣布完整支持 DeepSeek-V4.1-Flash 的新架构,要点包括:
- 多种并行方式:TP/SP/DP/EP
- DSpark 自适应验证的投机解码
- 面向 Agent 场景:前缀缓存、KV cache offloading、PD 分离(prefill/decode disaggregation)
- Engram CPU offloading 与 DP-aware sharding
- 计算与 KV cache 高效的 SWA bounded replay
来自 DeepGeMM 与 FlashMLA 的更多 kernel 集成也即将落地。
「Infra」频道最新
- Anthropic S-1:每 1 美元收入烧 48 美分算力成本 — nmasc_ · 2026-10-26
- Persistent AI 入驻 UR 网络，隐私推理流量全程加密 — 0xSammy · 2026-10-26
- Anthropic 算力承诺曝光：Google 至少 1145 亿美元居首 — BenBajarin · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 AI 芯片与数据中心硬件租赁协议 — Polymarket · 2026-10-26
- Diamandis 盘点：SpaceX AI 业务年增 830%，Claude 64 小时设计 31.8 万抗毒蛋白 — PeterDiamandis · 2026-10-26
- Meta 拟发售至多 950 亿美元股票为 AI 基建输血 — The Decoder · 2026-10-26