26GB Qwen3.6 MoE 模型在 16GB 显卡上跑出 19.5 t/s,速度翻倍引讨论
dreamyrhodes · reddit · 2026-10-17
Reddit 用户在 4060 Ti 16GB + 七代 i7 + 48GB DDR4 的老配置上,用 llama-server 跑 Qwen3.6 35B A3B 的 Q5KXL 量化(26GB,132k 上下文,KV cache q80),生成速度达 19.5 t/s、prompt 处理 132 t/s——几乎是他跑同体积稠密模型(Gemma/Qwen 26B Q4KM 约 2 t/s)的十倍,而 MoE 版本只占 4.5GB 显存。
发帖者困惑的是:专家层大量放在系统内存,为何在老 CPU + DDR4 上没有成为 PCIe 瓶颈。这实际上展示了 MoE 架构对本地部署的改变:每 token 只激活少量专家(A3B),即便 --cpu-moe 把专家层放主存,实际搬运的数据量也很小,消费级硬件就能跑大模型长上下文。
「Infra」频道最新
- Hugging Face 工程师晒自建机房：4 个 agent 并跑 256k 上下文 — TheZachMueller · 2026-10-17
- 绕过 RAG：在冻结的 Qwen2.5-72B 第三层直接注入 3 万 token 张量记忆 — Nearby_Indication474 · 2026-10-17
- 一行参数提速 55%：把 llama.cpp 的 --adapt-every 从 1 调到 6 — Bzucko · 2026-10-17
- mlsweep 开源：跨 GPU 组的分布式训练 sweep 调度与可视化工具 — burny_tech · 2026-10-17
- 以太坊基金会推 zkAPI：用零知识证明匿名使用前沿 AI 模型 — DavideCrapis · 2026-10-17
- 高盛：CXMT 披露 4F² 致存储厂市值蒸发 7380 亿美元属过度反应 — zephyr_z9 · 2026-10-17