16GB 显存跑 Strata Q2_0：prefill 仅 162 tok/s，用户求解 prompt 处理慢
ckplscz · reddit · 2026-10-28
Reddit 用户在 AMD 9060 XT 16GB + 32GB DDR4 的 Windows 机器上用 Strata 跑 Qwen3.8-Flash-Next Q20 量化模型，遇到 prompt 处理（prefill）极慢的问题：解码约 45.5 tok/s，但 4K prompt 处理仅约 162 tok/s。
帖中附上 Strata 的调优 JSON：上下文 65536、KV 用 int8、family 为 flash-next。引擎的自动调优尝试了多个实验但均未跑成或未胜出——hostcorelast 和 kv-grow 两个选项因空闲内存不足（需 28.4 GiB、仅有 25.6 GiB）被跳过；specminp 与 auxcpus 的几组对比均未带来提升。后端为 ROCm (HIP)。帖文展示了 16GB 显存跑大上下文模型的内存瓶颈与 Strata 自动调优机制的实际表现。
「Infra」频道最新
- 云厂商别忘本：企业上云主力仍是计算存储网络等基础服务 — DavidLinthicum · 2026-10-28
- 沙特 HUMAIN 披露 AI 基础设施筹建：选址与电力评估先行 — HUMAIN · 2026-10-28
- llama.cpp 新 PR 融合 MoE 矩阵乘与 GLU,Qwen3 系列 CUDA 吞吐最高提 17% — jacek2023 · 2026-10-28
- 5分钟可视化拆解LLM API调用全链路：从网关到GPU — HowDevelop · 2026-10-28
- 高通 GenieX 让任意 GGUF 模型跑上骁龙 Hexagon NPU，附实测数据 — SkyFeistyLlama8 · 2026-10-28
- 缓存命中价仅 2%：一文讲透 Agent 循环里的 Prefix Caching 省钱术 — Arindam_1729 · 2026-10-28