Qwen 模型 4070 跑分低 14 倍，竟因层溢出至内存
luckokkkk · reddit · 2026-08-24
用户发现 Qwen3.8-27B 在 RTX 4070 Super 上推理速度仅为 5.7 tok/s，远低于 RTX 5090 的 81.5 tok/s。
排查发现：
- 模型共 66 层，但在 4070 Super 上仅有 38 层运行在 GPU 上，其余 28 层因显存不足溢出到了系统 RAM，严重拖慢速度。
解决方案：
- 作者编写了开源工具 Picchio，用于直观显示模型层的实际放置位置、GPU 占用情况以及 Prefill/Decode 阶段的分离速度，避免再次被“模型慢”的假象误导。
「Infra」频道最新
- NVIDIA 开发者生态达 1100 万，四 年多增长近 3.7 倍 — Beth_Kindig · 2026-10-16
- Muse Spark Open 经 llama.cpp 跑通 M3 Ultra：前沿模型上桌面 — pcuenq · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- Meta 发布开源模型 Muse Spark Open,联手 Apple 可跑在 M5 Ultra Mac Studio — The Verge AI · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
- Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16