ISTA-DASLab 用 NVFP4 prefiller 拯救 Qwen3.8 低量化精度
magnus-m · reddit · 2026-10-20
ISTA-DASLab 发布了一个针对 Qwen3.8-27B 低量化权重的 prefiller 方案：用一个从 SSD 流式读取的 NVFP4 prefiller 模型做 prefill，可显著恢复低量化（IQ1S 到 IQ3XXS）的精度，同时保持低显存占用和解码速度。图表显示各量化档位准确率均有大幅提升，低比特档位提升最明显（如 IQ1S 从约 30% 提升到约 62%）。
限制：需要 Nvidia Blackwell GPU；约 4k 以上长上下文时相比不用 prefiller 无明显速度损失。模型已上传 Hugging Face（ISTA-DASLab/Qwen3.8-27B-NVFP4-prefiller）。发帖人本人未实测。
「Infra」频道最新
- Mobileye 联创的新公司 doubleAI 称可将客户算力成本削减 67% — pstAsiatech · 2026-10-20
- 美国制裁窃取Google TPU机密的前华裔工程师关联的5家中企 — rohanpaul_ai · 2026-10-20
- AI 芯片公司 Tenstorrent 融资 15 亿美元，估值达 62 亿 — pstAsiatech · 2026-10-20
- Lemonade Server CLI 实用技巧：拉取、配置与跑分本地模型 — admcpr · 2026-10-20
- BigMoeOnEdge：12GB 手机跑 35B MoE 达 10 tok/s，模型可比内存大 7 倍 — dai_app · 2026-10-20
- NVIDIA Brev 把旧游戏PC变云端GPU：一个控制台统一管理本地与云算力 — victorialslocum · 2026-10-20