AMD Strix Halo 实现 int4×int4 WMMA,Gemma 4 31B 推理提速 2.43 倍且精度持平
No-Dragonfly6246 · reddit · 2026-11-17
Reddit 用户 No-Dragonfly6246 报告在 AMD Strix Halo(8060S,即 Ryzen AI Max+ 395)上启用 llama.cpp 和 ROCm 均未使用的 int4×int4 WMMA 指令(实测 104 TOPS,为 FP16 速率 2 倍),自写 GEMM 内核以 int4 权重+int4 激活运行 Gemma 4,通过旋转+GPTQ+选择性混合精度保住精度。
性能(llama-bench,31B QAT Q40,2k prompt,单流):
- 预填充 pp512:679 vs llama.cpp 287;pp2048:724 vs 276
- 解码(含 MTP):24.4 vs 11.0 tok/s
- 端到端:31B 提速 2.43×,12B 2.80×,E4B 1.58×,E2B 1.39×(31B 15.3 vs 6.3 tok/s)
精度(全量测试集):31B 上 GSM8K 96.4 vs 96.2、IFEval 91.7 vs 92.2、MMLU-Pro 85.1 vs 85.1,基本持平。
可通过 embedl 工具一键安装运行(embedl serve google/gemma-4-31B-it/ryzen-ai-max-395)。这填补了 AMD iGPU 矩阵核未被主流推理栈利用的空白,对本地部署玩家价值很大。
「Infra」频道最新
- 博主 argue 全面封堵算力反而催生对手盲区与加速 — TinfoilTricorn · 2026-11-17
- LLM 后训练中生成与训练并行致数据陈旧,系统分析如何提速蒸馏管线 — burkov · 2026-11-17
- SK 海力士对英伟达收入翻倍至 240 亿美元,但真正的集中风险在美系客户 — tengyanAI · 2026-11-17
- macOS 连续运行 49.7 天后 TCP 栈爆雷,新连接全部失败 — DanielLockyer · 2026-11-17
- 用 no_std Rust 把 200 万参数 embedding 模型跑进 16MB 的 ESP32 — qdrant_engine · 2026-11-17
- 语音 Agent 被背景噪音干扰 0/5 应答,自适应门控修复至 4/4 — shrapknife · 2026-11-17