换 AWQ W4A16 量化 + vLLM 补丁后，本地 Qwen 3.8 Flash Next 基准从 91 升到 98
WonderRico · reddit · 2026-09-05
博主 WonderRico 更新本地 LLM 基准：为 Qwen 3.8 Flash Next 换用基于 vLLM 的新方案，得分从 91/100 提升到 98/100。
- 新方案：AWQ W4A16 权重 + INT4 的 n-gram PLE 量化（均来自 Hugging Face），配合 primitive-ai 仓库的 vLLM 补丁
- 目标是让权重和 PLE 都以 4bit 加载到 sm89/sm120 设备；虽比之前的 SGLang 补丁方案更慢，但质量提升明显
- 中/超高推理档下都达到 98 分，成为其基准中得分最高且最高效的组合
- 作者将继续排查差异来自引擎补丁还是量化本身；图表与数据已公开在 GitHub Pages
「Infra」频道最新
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21
- LithosAI 承包 Artificial Analysis 12 项第一：GLM 5.3 Flash 跑出 1543 tok/s — JiaZhihao · 2026-10-21