双 3090 部署 Qwen 实测：修改切分模式让处理速度飙升 4 倍
DjCanalex · reddit · 2026-08-07
一名开发者分享了使用双 RTX 3090 显卡通过 llama.cpp 部署 Qwen 27B 模型的深度性能调优经验。
问题定位
此前他一直使用 --split-mode tensor（张量切分）模式，虽然生成速度（tg）不错，但他发现提示词处理（pp）全被丢到了 CPU 上运行，导致处理速度卡在 400 t/s 左右。
性能飞跃
经过排查，他发现 llama-bench 能跑出 1600+ t/s 的理论成绩。在将切分模式切换回 --split-mode layer（层切分）后，GPU 接管了采样计算。虽然生成速度（tg）从 60-70 t/s 略降至 40-55 t/s，但提示词处理速度实现了 4 倍以上的暴涨，大幅优化了长上下文的整体推理效率。
「Infra」频道最新
- Zero 下一代 IVM 引擎塞进单个 DO，实时查询 R2 上 100GiB 数据库 — threepointone · 2026-10-16
- Aziz 梗图开玩：2028 年自己开 Roadster 去芯片工厂提货 — beffjezos · 2026-10-16
- 一个人维护 40 亿台设备的时钟：时区数据库背后的志愿者 — danbri · 2026-10-16
- 4x DGX Spark 跑 DeepSeek V4.1 Flash 实测：内存根本不够，494 t/s 有水分 — Aroochacha · 2026-10-16
- 开发者开源 Intel GPU Vulkan 推理升级:部分路径摄取提速 2 倍 — Fun-Aardvark-1143 · 2026-10-16
- ELSFP 光封装三大痛点：插损超 3dB、PMF 贵且难装、洁净间要求高 — jwt0625 · 2026-10-16