Basalt 支持 NVFP4：单张 5090 跑 Qwen3.8 Flash-Next，prefill 8582 tok/s
jesdga95 · reddit · 2026-10-18
Basalt 项目更新，解决了此前两大痛点：NVFP4 原生支持和更快 prefill，目标模型为 Qwen3.8 Flash-Next，跑在 Blackwell（单张 RTX 5090）上。
NVFP4：新 .basalt 包保留原版 NVIDIA 专家权重，dense 层存为 Q6K。5090（400W）+128GB DDR5 实测：
- struct 304 tok/s，prose 183 tok/s
- 加一块 5060 Ti 做对等 GPU 后 struct 479 / prose 239
- 质量对比 Q80（100 chunks）：PPL 3.308（Q80 为 3.286），KLD 0.068，91.5% top-1 一致
Prefill：64K 长提示下达 8,582 tok/s，首 token 仅 7.6 秒。对比同硬件同 NVFP4 权重的 Infernix，decode 最高快 1.3 倍，prefill 快 1.6 倍。
另合并了一批稳定性与性能修复，下一步是 Unsloth Q4 + Q8（近无损）调优。代码与权重已在 GitHub 和 Hugging Face 开放。
「Infra」频道最新
- 把 token 换算成价值：用效用函数求解 agent 最优模型与终止条件 — JoshPurtell · 2026-10-18
- 开源《半导体制造概论》：25 章跟一片晶圆走完从沙子到芯片全程 — CatAstro_Piyush · 2026-10-18
- 研究员感叹：每次消融实验都烧掉 100 万美元是什么体验 — gordic_aleksa · 2026-10-18
- 双 DGX Spark 跑 DeepSeek-V4.1-Flash：TensorFold 解码达 vLLM 套件 2.3 倍 — shayanx45 · 2026-10-18
- MiniCPM-V 4.7 上榜:35B-A3B MoE 模型手机端 3GB 内存可跑 — lmoroney · 2026-10-18
- AI 竞赛的瓶颈不是代码而是混凝土：电厂许可要等七年 — r0ck3t23 · 2026-10-18