本地跑 Qwen3.8-Flash-Next：换全量 FP8 n-gram 表质量明显提升
sillynoobhorse · reddit · 2026-10-17
r/LocalLLaMA 用户发现，Qwen3.8-Flash-Next 常见 GGUF 量化版中位于 SSD 上的 n-gram 表（PLE）被重度量化，对生成质量有可测量的影响。作者按社区线索构建了全量 FP8 PLE（用 Strata 的 plefp8pack.py，仅占多一点磁盘空间，速度无损失），实测 iq3s 量化下此前频繁出现的低级错误明显减少。
- 需从 HuggingFace 下载 model-00005 至 model-00037.safetensors 及 index 文件，打包为 GGUF 后在启动配置中以 --ple-gguf 加载。
- 作者贴出同一赛博朋克城市火车 3D 场景提示词的两组对比输出，全量 FP8 PLE 版本肉眼可见更好。
- 在 Hermes agent 场景同样有效，作者据此外接功能给 KDE 应用 haruna 增加了数个特性。
「Infra」频道最新
- MiniCPM-V 4.7 仅占 3GB 显存，本地跑出 100 tokens/秒 — NielsRogge · 2026-10-17
- AI 算力竞赛的隐形功臣:数据中心电源管理芯片决定能效上限 — Olivier__OG · 2026-10-17
- 35B 多模态模型跑进 3GB 内存：MiniCPM-V 4.7 全程离线读懂家电面板 — alifcoder · 2026-10-17
- 单卡 A100 本地跑 Nemotron 3.5,169 tok/s 处理百份病历仅 2 美分 — MaziyarPanahi · 2026-10-17
- NVIDIA 开源 AIPerf 基准工具 + Triton 官方教程：推理性能测量的两块拼图 — techNmak · 2026-10-17
- Triton 官方 GPU 编程教程：从向量加法到融合注意力 — techNmak · 2026-10-17