Qwen 模型 4070 跑分低 14 倍，竟因层溢出至内存
luckokkkk · reddit · 2026-08-24
用户发现 Qwen3.8-27B 在 RTX 4070 Super 上推理速度仅为 5.7 tok/s，远低于 RTX 5090 的 81.5 tok/s。
排查发现：
- 模型共 66 层，但在 4070 Super 上仅有 38 层运行在 GPU 上，其余 28 层因显存不足溢出到了系统 RAM，严重拖慢速度。
解决方案：
- 作者编写了开源工具 Picchio，用于直观显示模型层的实际放置位置、GPU 占用情况以及 Prefill/Decode 阶段的分离速度，避免再次被“模型慢”的假象误导。
「Infra」频道最新
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16
- d-Matrix Corsair 机架正式出货，演示 H100+8 XPU 跑出 845 tok/s — ai · 2026-10-16
- Actual 实测 DGX Station 跑出 10k tok/s，推理引擎与 GB300 案例曝光 — natesiggard · 2026-10-16