ShardFlow：跨广域网分布式推理 TPS 破 28
katua_bkl · reddit · 2026-08-23
作者展示了分布式 LLM 推理框架 ShardFlow，在跨云广域网环境下实现了高性能推理。
- 架构设计：将 HF 模型拆分至 N 个 GPU 节点，利用神经推测解码抵消 WAN 延迟。
- 性能数据：在两个 GCP 区域（RTT 86ms）下，Qwen2.5-7B 达到 28.1 TPS 峰值（20.31 平均），相比基线提升约 5 倍。
- 核心优化：使用 CUDA Graphs 将每次约 1500 次 kernel 启动优化为单次驱动调用，将草稿延迟从 112ms 降至 25ms，解决了 GPU 空转问题。
- 技术栈：包含零拷贝 Rust TCP 中继、StaticCache、KV rewind 等技术。
开源项目，欢迎探讨技术细节。
「Infra」频道最新
- 黄仁勋做客 BG2 播客:谈 AI 收入能否撑起 Capex 与 2027 瓶颈 — elonmusk · 2026-10-16
- Mistral 本地推理基建机架曝光:DGX Spark、Mac Studio 等混搭 — gregmushen · 2026-10-16
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16