多节点 vLLM 经过拓扑调优，单用户吞吐升至 47 tok/s
TheZachMueller · x · 2026-07-21
- 作者展示了自己那套“ cursed rig ”的最终形态：在 10 小时 47 分钟、累计 640 万个 Sol tokens 的推理测试后，系统完成了多轮拓扑调整。
- 方案从常规的 6 GPU 多节点 vLLM 起步，逐步演进到 Asymmetric TP2/TP4、30/48 层切分，再到 async + NCCL；单用户吞吐从约 20 tok/s 提升到 47.1 tok/s。
- 配图补充了关键结果：修复了 pipeline parallel deadlock，同时保持输出一致，四用户总吞吐达到 169 tok/s。
所属事件:极限拓扑调优让大模型推理吞吐达47 tok/s(2 条相关)→
「编程与Agent」频道最新
- NVIDIA 称 Nemotron 3 Ultra 在 RTL 芯片设计任务上达 97.1% — NVIDIAAI · 2026-07-27
- 东京 Agent Forge 黑客松一天做出可上线 AI agents — DavidBennett__ · 2026-07-27
- 长周期智能体最终需要不可变事件日志 — sebpaquet · 2026-07-27
- 实测智能体数据科学工作流：代码能跑但常答错问题 — hugobowne · 2026-07-27
- 一个 VS Code 扩展给 Alchemy 模板加上 Markdown 高亮 — samgoodwin89 · 2026-07-27
- Claude 的 Stripe MCP 连接器被吐槽频繁断连几乎不可用 — evielync · 2026-07-27