Strix Halo实测Qwen3.8-27B:MTP提速3.1倍,FP4分支29.9 tok/s

deepu105 · reddit · 2026-08-23

作者在 Strix Halo 笔记本(Radeon 8060S,128GB 统一内存)上对 Qwen3.8-27B 做了严格的本地推理基准测试(用 llama.cpp 自带计时,每配置 3 次,验证 85W 满频运行):

核心结果:

关键观察:

draft 长度 5 最优(Q80)/6(FP4),后端默认 3 并非最佳,且不随上下文长度变化
MTP 收益随上下文增长而缩水:空窗口 3.1 倍 → 64k 时 2.2 倍 → 256k 满窗口仅 1.15 倍(KV cache 增大让验证更贵,接受率本身保持)
预填从空窗口到 256k 约掉到 1/4(277→75 tok/s);FP4 分支预填衰减更快,128k 时反被 Q80 超过(70 vs 119)——其优势在解码而非提示处理
无效尝试:KV cache q80(draft 5 时略差)、关 flash attention(-5%)
注意:FP4 分支在不同 draft 设置下补全长度会漂移(同一提示 152-160 token)

测试通过作者的 LlamaStash 工具驱动,flags 可复现。

「Infra」频道最新