AMD 官方 Qwen3.8 MXFP4 量化无法在 llama.cpp 加载
mailto_devnull · reddit · 2026-09-03
一位用户受他人「双卡 R9700 跑出极高推理速度」启发,想在单卡上尝试 AMD 官方发布的 Qwen3.8-27B MXFP4 量化版(HF: amd/Qwen3.8-27B-Quark-AWQ-MXFP4),但发现其 safetensors 无法在 llama.cpp 中加载;转而下载社区做的 GGUF 版(magiccodingman 的 MagicQuant 版)同样加载失败。帖子提出的问题直指现状:llama.cpp 目前似乎尚不支持 MXFP4 格式。
「Infra」频道最新
- fchollet 晒出 #TPU 玩梗图,惊到 Hesamation 直呼离谱 — algo_diver · 2026-09-03
- Nvidia CoWoS 份额 2027 或降至 45.6%,AMD 翻倍至 19.8% — tengyanAI · 2026-09-03
- 弗州 Loudoun 县20年变迁,预言美国数据中心未来 — suchenzang · 2026-09-03
- 数据中心轰鸣不停:前 Scale AI CEO 调侃反建 NIMBY — suchenzang · 2026-09-03
- 两台 DGX Spark 跑 GLM-5.3-Flash:自研内核让专家 GEMM 提速约 40% — EAccelerate_42 · 2026-09-03
- Beff Jezos：生物基底的每瓦算力被严重低估，硅基与生物走向共同复杂化 — beffjezos · 2026-09-03