12GB 显卡实测：Qwen3.8 27B Q2 可用，MoE 更优
CoffeeToCode99 · reddit · 2026-08-17
作者在 RTX 5070 Ti Laptop (12GB VRAM) 上对比了 Qwen3.8-27B (Dense, Q2/Q3) 与 Qwen3.6-35B-A3B (MoE, Q4) 的表现，结论如下：
测试环境
- 硬件: RTX 5070 Ti Laptop, 12GB VRAM.
- 后端: llama.cpp CUDA.
- 设置: 4k context, q8 KV, --fit on, no MTP.
关键发现
- Qwen3.8 Q2 (Dense)
- 速度较快 (Prompt 412 t/s, Gen 35.9 t/s)。
- 在基础测试中出现质量下降（如球拍问题答错），证明 Q2 量化有明显损耗。
- Qwen3.8 Q3 (Dense)
- 保持了基础测试的正确率 (6/6)。
- 但生成速度极慢 (仅 7.5 t/s)，交互体验痛苦。
- Qwen3.6 35B-A3B (MoE)
- 正确率满分 (6/6)。
- 生成速度最快 (59 t/s)，显著快于 Dense Q3。
结论
- 如果目标是“能不能跑”，Qwen3.8 Q2 确实能动。
- 如果目标是“日常聊天/编码”，35B-A3B MoE 仍是 12GB 显存下的最佳选择，兼顾了速度与质量。
「Infra」频道最新
- 本地 AI 不是隐私功能而是路由问题：任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16
- 首个 TPUv7 Agent 基准成绩:vLLM 服务下每美元性能超 GB300 NVL72 达 1.42 倍 — vllm_project · 2026-10-16
- Phison CEO 称 CXMT 内存恐慌是“市场鬼故事”，明年的问题是缺料不缺单 — BenBajarin · 2026-10-16
- Ben Bajarin：算力未来是可互换的，超大规模厂商正为工作负载自由布局 — BenBajarin · 2026-10-16
- AirLLM 逐层加载：2.8 万亿参数模型宣称跑进 4GB 显存 — Aiden_Tech_Ai · 2026-10-16