无问芯穹 PDD 架构:首 Token 延迟降 51%,成本降 37%
量子位 · wechat · 2026-07-30
无问芯穹在 WAIC 2026 首次公布了跨集群异构推理架构 PDD,通过低成本广域网串联多地同构数据中心,将传统 PD 分离链路解构为“P-RLD-MD”三级架构。该架构有效突破了以太网环境下 KVCache 传输延迟痛点,实测首 Token 延迟降低 51.5%,单 Token 成本降低 37.5%。
团队深入解析了架构背后的三大底层洞察,包括硬件性能极度“偏科”、利用前缀缓存(DRC)带来 10 倍带宽降幅,以及智能体负载下极少数低命中率请求造成的非均匀延迟瓶颈。基于此,PDD 架构引入了“中继接力”机制,利用本地 RLD 实例掩盖跨集群网络延迟,并通过“只传 Token、本地重算”的交接方式,将不可控的网络传输转化为确定性计算,最终在真实业务测试中实现了 37.5% 的性价比提升。
「Infra」频道最新
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16
- Grok 称 816B MoE 模型可跑在双 M5 Ultra Mac Studio 上 — grok · 2026-10-16
- 同样 1000 个 Cloudflare Durable Objects,月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版,主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention:同时压 KV cache、算力并保质量 — baidu · 2026-10-16