GLM 5.3 Flash NVFP4 实测:4 卡 6000 WS 限 450W,V2 吞吐较 V1 大幅提升
TheZachMueller · x · 2026-10-28
作者在 4 张 RTX 6000 Workstation(功率锁定 450W)上跑 GLM 5.3 Flash 的 NVFP4 量化,附上 V1 与 V2 两版吞吐对比图:同 GPU 下,单 agent 输出速度从约 140 tok/s 提升到约 240 tok/s;每 GPU 吞吐从约 115 提升到约 210 tok/s。V2 在并发 16 时仍能保持每 GPU 约 165 tok/s,而 V1 同并发只有约 85。「Well that worked well」——即新版推理栈在功率受限的本地卡上效率接近翻倍。
所属事件:RTX 6000 工作站实测 GLM 5.3 Flash，调优后吞吐升至 242 tok/s(2 条相关)→
「Infra」频道最新
- TechCrunch：数据中心热潮意外推动美国电网现代化创新 — TechCrunch AI · 2026-10-28
- 自建双卡 5060 Ti 实测 12 个 4B-35B 本地模型:MoE 快数倍还能打平大模型 — Careful-Report6526 · 2026-10-28
- Together GPU 集群上线自动修复:从 GPU 故障到节点恢复无需人工 — togethercompute · 2026-10-28
- Supabase 推出 Compute 私测:Agent 与长任务可与 Postgres 数据同项目运行 — dshukertjr · 2026-10-28
- Atreides 分析师：2027 AI 建设更多靠经营现金流，外部融资接近见顶 — BenBajarin · 2026-10-28
- Anthropic 自建版本控制系统 Scion,日合并代码从 2500 暴增至 3 万 — krishnan · 2026-10-28