多节点 vLLM 经过拓扑调优，单用户吞吐升至 47 tok/s
TheZachMueller · x · 2026-07-21
- 作者展示了自己那套“ cursed rig ”的最终形态：在 10 小时 47 分钟、累计 640 万个 Sol tokens 的推理测试后，系统完成了多轮拓扑调整。
- 方案从常规的 6 GPU 多节点 vLLM 起步，逐步演进到 Asymmetric TP2/TP4、30/48 层切分，再到 async + NCCL；单用户吞吐从约 20 tok/s 提升到 47.1 tok/s。
- 配图补充了关键结果：修复了 pipeline parallel deadlock，同时保持输出一致，四用户总吞吐达到 169 tok/s。
所属事件:极限拓扑调优让大模型推理吞吐达47 tok/s(2 条相关)→
「编程与Agent」频道最新
- HF Hub CLI 大更新:缓存去重省 19GB,GPU 任务可重试重跑 — yb2698 · 2026-10-26
- 前 Google 研究员团队发布 Fern 0.1:专供审计数据、调试训练的模型 — bneyshabur · 2026-10-26
- Fern 0.1 智能体基准首秀:SWE-Bench Verified 73.4,与前沿模型仍有差距 — bneyshabur · 2026-10-26
- 一条 Prompt 生成完整 Blender 动画,作者全程未手动建模 — iamfakhrealam · 2026-10-26
- 用户用 Claude Code 拆解本田车机：发现 root 后门与静默装 APK — IndraVahan · 2026-10-26
- Claude Code + MCP 接 Google Maps/Apollo/LinkedIn，搭年省万美元的获客引擎 — aryanXmahajan · 2026-10-26