多节点 vLLM 经过拓扑调优，单用户吞吐升至 47 tok/s
TheZachMueller · x · 2026-07-21
- 作者展示了自己那套“ cursed rig ”的最终形态：在 10 小时 47 分钟、累计 640 万个 Sol tokens 的推理测试后，系统完成了多轮拓扑调整。
- 方案从常规的 6 GPU 多节点 vLLM 起步，逐步演进到 Asymmetric TP2/TP4、30/48 层切分，再到 async + NCCL；单用户吞吐从约 20 tok/s 提升到 47.1 tok/s。
- 配图补充了关键结果：修复了 pipeline parallel deadlock，同时保持输出一致，四用户总吞吐达到 169 tok/s。
所属事件:极限拓扑调优让大模型推理吞吐达47 tok/s(2 条相关)→
「编程与Agent」频道最新
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- 首届 Three.js 大会落地巴黎，AI 正缩短从想法到原型的距离 — OdinLovis · 2026-09-11
- 观点：Agent 真正的瓶颈是企业数据工程能力 — dhruv2038 · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- GPT-6 Astra 用时 44 小时通关含敌人 Factorio,API 成本约 4500 美元 — liminal_bardo · 2026-09-11
- 投资分析师求教：如何用 Claude 搭建尽调 Agent 工作台 — Careless_Tie2286 · 2026-09-11