NVFP4 量化版 Qwen3.8-Flash 在 V100 上实测:prefill 快得惊人
Scobleizer · x · 2026-11-14
开发者 @unbug 实测 NVIDIA 推出的 Qwen3.8-Flash NVFP4 量化版本,第一印象相当惊艳:在 V100 上搭配 Strata 推理框架,prefill 速度快得离谱,且输出细节一致性与连贯性更好。
他还发现 Strata 与 FP4-local、NVFP4 以及 NVFP4+Q8 混合量化(GPTQ)配合效果更佳,3K token 的 prefill 表现"很夸张",但表示还需在真实工作负载上进一步验证。
「Infra」频道最新
- Will Depue 被怼「2-3K 卡不算数据中心级」，爆粗回怼 Teortaxes — teortaxesTex · 2026-11-14
- 本地部署选型清单：从聊天到语音,七个场景各配一个开源模型 — alex_verem · 2026-11-14
- 1997年花100万美元买"假芯片"救了Nvidia,黄仁勋的豪赌往事 — bigaiguy · 2026-11-14
- SGLang Summit 2026 周边徽章曝光：CUDA OOM、KV Cash 全成了收藏品 — ying11231 · 2026-11-14
- 英伟达 5000 亿美元 GPU 借贷联盟搁浅，零成交且多家 lender 拟退出 — SumitGup · 2026-11-14
- 欧洲机器人机会在改造存量：用认知机器人升级老厂与老化电网 — ingliguori · 2026-11-14