AMD Strix Halo 实现 int4×int4 WMMA,Gemma 4 31B 推理提速 2.43 倍且精度持平

No-Dragonfly6246 · reddit · 2026-11-17

Reddit 用户 No-Dragonfly6246 报告在 AMD Strix Halo(8060S,即 Ryzen AI Max+ 395)上启用 llama.cpp 和 ROCm 均未使用的 int4×int4 WMMA 指令(实测 104 TOPS,为 FP16 速率 2 倍),自写 GEMM 内核以 int4 权重+int4 激活运行 Gemma 4,通过旋转+GPTQ+选择性混合精度保住精度。

性能(llama-bench,31B QAT Q40,2k prompt,单流):

精度(全量测试集):31B 上 GSM8K 96.4 vs 96.2、IFEval 91.7 vs 92.2、MMLU-Pro 85.1 vs 85.1,基本持平。

可通过 embedl 工具一键安装运行(embedl serve google/gemma-4-31B-it/ryzen-ai-max-395)。这填补了 AMD iGPU 矩阵核未被主流推理栈利用的空白,对本地部署玩家价值很大。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →