RTX 6000 工作站跑 GLM 5.3 Flash NVFP4,逐项优化将吞吐从 162 拉到 242 tok/s
TheZachMueller · x · 2026-10-28
TheZach Mueller 分享了在限频 450W 的 RTX 6000 Workstation 上跑 GLM 5.3 Flash NVFP4 的调优过程,配图给出逐阶段吞吐数据:
- baseline:162–168 tok/s/user
- +P2P allreduce:201.5
- +online NVFP4 attention:219.54
- +online NVFP4 merged projection:中位约 220,最佳 250
- +KDA numwarps 修复:每轮再省 0.12ms
- +autotune 与 fused finalize:最终 242.70 @ 300s
整套路径展示了单卡/工作站级 FP4 推理的优化阶梯,作者还顺带提了一句 AIPerf 8k/1k 的成绩。
所属事件:RTX 6000 工作站实测 GLM 5.3 Flash，调优后吞吐升至 242 tok/s(2 条相关)→
「Infra」频道最新
- 不稳定测算CEO站台解耦算力:要让AI迎来「宽带时刻」 — beffjezos · 2026-10-28
- 单卡 3090 跑 DeepSeek-V4.1-Flash 量化版，41 tok/s 且 90% 对齐官方 API — musicurgy · 2026-10-28
- USearch v3 发布候选版亮相，作者晒出开源库被55万星项目依赖的成绩单 — viglovikov · 2026-10-28
- Reddit 讨论:本地模型跃进 + 内存短缺,现在买 GPU 是不是最后的窗口 — Sensualities · 2026-10-28
- 本地 AI 应用实测：GPU 限功率从 100W 降到 25W，推理仅慢 47% — AryanEmbered · 2026-10-28
- SK Hynix 单季营业利润 628 亿美元、利润率 80%，AI 内存成最大赢家 — mhdfaran · 2026-10-28