实测：推理引擎的有损加速默认项，让 Q8 模型掉到 Q2 水平
jesdga95 · reddit · 2026-10-31
作者用自研引擎 Basalt（Qwen 3.8 Flash Next，RTX 5090 + 5060 Ti + 128GB DDR5）实测两种常见「有损」加速 flag 对模型的实际损害：
- Routing bias：引擎倾向把请求路由到已在 GPU 上的专家，而非模型真正想要的专家；
- Tail skip：低优先级专家不在显存时直接跳过，不再从内存取。
KLD 结果：以 llama.cpp Q80 为参照，开启 shipped 默认值后各量化包普遍掉到 IQ3XXS 与 Q20 之间；178 GiB 的 Q80 + shipped 的 KLD（0.401）比 65 GiB 的精确 Q20（0.436）还接近——包越大损失越大，因为更多专家在显存外被重路由。
真实任务：Q80 + shipped 事实问答降 1.5 分（CI 排除零），小显存场景下 IQ33S + shipped ladders 掉 5.2 分；worst 配置下事实题从 38.1 崩到 2.7。
结论：显存充裕时 shipped 默认值约损失 1.5 分（≈4% 的知识），换来的速度收益却很小；显存越紧张，损害越大。这两个 flag 在 Basalt 里均为可选项，便于对照测量。
「Infra」频道最新
- 推理优化内卷加剧:从业者要的已是最快最便宜的够用模型 — bendee983 · 2026-10-31
- NVIDIA 发布 Nemotron 3.5 Bolt E4B：4GB 端侧模型，token 输出省 80% — heatOverflower · 2026-10-31
- RTX 6000 Pro 工作站卡现价 13999 美元，较原价直降约 3000 — HankYeomans · 2026-10-31
- 马斯克畅想月球电磁弹射建算力：冲向 Petawatt 时代 — XFreeze · 2026-10-31
- 美国能源部首批商用微型核反应堆安全审查通过,Radiant 获准满功率测试 — McDonaghMatthew · 2026-10-31
- 开发者晒出惊人缓存命中率：推理成本直接砍到脚踝 — sujingshen · 2026-10-31