Reddit 求证 Basalt 与 nvfp4 量化模型的质量退化对比数据

Kooky-Mode3047 · reddit · 2026-11-03

发帖人询问 Basalt、Infernix、Strata(-nvfp4) 等低精度量化方案之间除速度外，是否存在可靠的质量退化评测——快速推理如果让人更快走错方向就没有价值。作者还观察到：Basalt 缺少动态 RoPE 缩放，从加载起就静态启用 YaRN 缩放（2 倍、524K 上下文）；且没有内置审查开关，但相关机制存在，补写一个很容易。讨论核心是「为速度付出多少质量代价才值得」这一本地部署者的实际权衡。