无问芯穹发布 Agentic Infra 战略，解决大模型推理瓶颈
量子位 · wechat · 2026-07-20
无问芯穹在 WAIC 上宣布了其「前店后厂一中心」的 Agentic Infra 战略布局，旨在解决大模型时代算力供需与推理成本瓶颈。目前其 AgenticMaaS 平台日均 Token 调用量较去年底激增 40 倍。
针对大模型推理的痛点，无问芯穹推出了跨集群异构 PD 分离架构。通过将 Prefill 和 Decode 阶段拆分到不同集群，并引入 RadixCache 和 PDD 三级架构，有效缓解了跨集群传输的延迟问题。实测显示，该技术使首 Token 延迟（TTFT）降低 51.5%，单 Token 成本下降 37.5%。
此外，公司还发布了智算集群运维智能体系统，实现运维人效提升 5 倍以上。目前其算力集散中心已部署 37000P 算力，接入 16 种主流芯片，并支撑了跨域强化学习训练连续一周 0 中断的稳定运行。
所属事件:无问芯穹发布AgenticInfra战略破解推理瓶颈(2 条相关)→
「Infra」频道最新
- 新论文提出 PoLar：动态跳过或循环 LLM 层级以优化推理 — ttkciar · 2026-07-22
- SK海力士CEO：明年将是行业史上供应最紧张的一年 — Beth_Kindig · 2026-07-22
- Tabul AI 推出 Metal TreeSHAP，加速 Apple silicon 上的 Shapley 计算 — Scobleizer · 2026-07-22
- 分析称五大科技巨头隐匿 1.6 万亿美元 AI 债务 — arto · 2026-07-22
- DeepSeek-V4-Flash 单卡 B300 批量仅 770 tok/s — Moreh · 2026-07-22
- NVIDIA 开始交付 102.4 Tbps 的 Spectrum-6 交换机 — nvidia · 2026-07-22