多节点 vLLM 经过拓扑调优，单用户吞吐升至 47 tok/s
TheZachMueller · x · 2026-07-21
- 作者展示了自己那套“ cursed rig ”的最终形态：在 10 小时 47 分钟、累计 640 万个 Sol tokens 的推理测试后，系统完成了多轮拓扑调整。
- 方案从常规的 6 GPU 多节点 vLLM 起步，逐步演进到 Asymmetric TP2/TP4、30/48 层切分，再到 async + NCCL；单用户吞吐从约 20 tok/s 提升到 47.1 tok/s。
- 配图补充了关键结果：修复了 pipeline parallel deadlock，同时保持输出一致，四用户总吞吐达到 169 tok/s。
所属事件:极限拓扑调优让大模型推理吞吐达47 tok/s(2 条相关)→
「编程与Agent」频道最新
- 开发者正训练「看门模型」：专门拦截提示注入与记忆投毒 — gnukeith · 2026-10-27
- Mirendil 发布首个模型 Fern：上下文窗口达 1000 万 token — shayan_ · 2026-10-27
- 旧金山 Code Engineering 大会聚焦从编码 agent 到软件工厂 — LangChain · 2026-10-27
- 用 Claude Code 当 iPhone 取证器:挖出「已删」照片的 30 天隐藏副本 — alex_verem · 2026-10-27
- 用 Claude Code 审计 iPhone 备份，揪出被删照片的全部藏身处 — alex_verem · 2026-10-27
- Yuchen Jin：手机不是移动 IDE，而是 agent 舰队的控制台 — Yuchenj_UW · 2026-10-27