AMD 6800H 核显实测：Qwen 3.6 MoE 远快于 31B Q8_0
tabletuser_blogspot · reddit · 2026-07-28
AMD 6800H 核显上跑 Gemma 4 和 Qwen 3.6 MoE 的实测
一位 Reddit 用户在 AMD Ryzen 7 6800H 的迷你主机上，用 llama.cpp + Vulkan 跑了 Gemma 4 和 Qwen 3.6 MoE，并且完全依赖 UMA 共享内存 和 Radeon 680M 核显，没有独显显存。
主要结论
- 在这套 APU 机器上，把可用内存从 1GB 到 16GB 调整，对推理速度几乎没有影响。
- 他比较了 NVFP4、Q4K、Q80 等量化方式，寻找速度和效果的平衡点。
- MoE 在 APU/iGPU 上优势明显：qwen35moe 35B.A3B NVFP4 的解码速度达到 15.05 t/s，而 gemma4 31B Q80 只有 2.30 t/s。
- gemma4 26B.A4B Q40 是 Gemma 系列里测试到的最快配置，解码速度 18.35 t/s。
- Q80 对大模型来说太慢，而 4-bit 量化 仍然比较实用。
- 在这组 Vulkan/AMD 驱动 测试里，NVFP4/MXFP4 并没有比 Q40 更快，作者认为这些格式还需要进一步优化。
对 APU 用户的建议
- 20B 以上模型尽量别用 Q8。
- 想要“大参数但还能跑得动”，优先选 MoE。
- 如果追求可用速度，还是以 4-bit 量化 为主。
「Infra」频道最新
- MoonEP 开源：用省显存反传设计优化 MoE 训练 — SeunghyunSEO7 · 2026-07-28
- 亚马逊向 Lean 语言项目捐出史上最大笔资金，用数学证明 AI Agent 行为 — ChrSzegedy · 2026-07-28
- LangChain 宣布与 NVIDIA 合作，强调开源基因 — Hacubu · 2026-07-28
- Morgan Stanley 拆出 AI 基础设施每一层的受益者 — SumitGup · 2026-07-28
- Google Cloud 为 Cloud Run 加入限额和沙箱运行环境 — steren · 2026-07-28
- Fields Medal 得主转投 OpenAI，同周还有 2500 亿融资和 Kimi K3 — Dapper-Tale-4021 · 2026-07-28