无问芯穹 PDD 架构:首 Token 延迟降 51%,成本降 37%
量子位 · wechat · 2026-07-30
无问芯穹在 WAIC 2026 首次公布了跨集群异构推理架构 PDD,通过低成本广域网串联多地同构数据中心,将传统 PD 分离链路解构为“P-RLD-MD”三级架构。该架构有效突破了以太网环境下 KVCache 传输延迟痛点,实测首 Token 延迟降低 51.5%,单 Token 成本降低 37.5%。
团队深入解析了架构背后的三大底层洞察,包括硬件性能极度“偏科”、利用前缀缓存(DRC)带来 10 倍带宽降幅,以及智能体负载下极少数低命中率请求造成的非均匀延迟瓶颈。基于此,PDD 架构引入了“中继接力”机制,利用本地 RLD 实例掩盖跨集群网络延迟,并通过“只传 Token、本地重算”的交接方式,将不可控的网络传输转化为确定性计算,最终在真实业务测试中实现了 37.5% 的性价比提升。
「Infra」频道最新
- 16GB内存即可本地跑Gemma 4:零成本完全离线配置教程 — FinanceYF5 · 2026-07-30
- 4090+5060 Ti 混合推理实测:122B 模型跑出 37 t/s — Dry_Long3157 · 2026-07-30
- OpenAI 拟吞全球 40% 内存产能,算力正重塑硬件所有权 — Shimano-No-Kyoken · 2026-07-30
- AI 巨头被指隐瞒 1.65 万亿美元表外债务,堪比安然财务丑闻 — marigo · 2026-07-30
- Ollama 携手 Intel,适配 Core Ultra 3 系列本地大模型推理 — ollama · 2026-07-30
- 美国电网并网排队需 5-7 年,算力瓶颈或拖累 AGI 预测 — Novel-Lifeguard6491 · 2026-07-30