无问芯穹 PDD 架构:首 Token 延迟降 51%,成本降 37%

量子位 · wechat · 2026-07-30

无问芯穹在 WAIC 2026 首次公布了跨集群异构推理架构 PDD,通过低成本广域网串联多地同构数据中心,将传统 PD 分离链路解构为“P-RLD-MD”三级架构。该架构有效突破了以太网环境下 KVCache 传输延迟痛点,实测首 Token 延迟降低 51.5%,单 Token 成本降低 37.5%。

团队深入解析了架构背后的三大底层洞察,包括硬件性能极度“偏科”、利用前缀缓存(DRC)带来 10 倍带宽降幅,以及智能体负载下极少数低命中率请求造成的非均匀延迟瓶颈。基于此,PDD 架构引入了“中继接力”机制,利用本地 RLD 实例掩盖跨集群网络延迟,并通过“只传 Token、本地重算”的交接方式,将不可控的网络传输转化为确定性计算,最终在真实业务测试中实现了 37.5% 的性价比提升。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →