实测 Qwen N-gram 层升 Q8:精度提高速度几乎不掉
Altruistic_Heat_9531 · reddit · 2026-09-03
一位本地部署玩家实测把 Qwen 3.8 Next 中的 51B N-gram 层从低精度换成更高精度是否可行。受另一帖启发(有人在 5090 上换成 BF16 N-gram),作者在 IQ4XS 量化模型上换成 Q8 N-gram 并做了前后对比测试。
测试环境与结果:
- 硬件:96GB DDR4 三通道、Xeon E5-2690v4、RTX 3090(限制 250W),未启用 MTP
- 换 Q8 后短程生成速度从约 8.8 tok/s 提到约 10.7 tok/s,看似更快
- 但两者稳态最终都收敛在约 10.1 tok/s 左右
结论:把 N-gram 层升级到 Q8 几乎没有推理速度损失,输出质量是否提升仍在测试中。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18