Inkling 2 Mini 编码胜 Qwen 3.8 27B,但 PC 端不值得吹

Ubunta · x · 2026-11-21

博主在 Minisforum 迷你主机(Ryzen AI 9 HX 370、Radeon 890M、89GB 内存、Linux)上以约 4-bit 量化(17GB)实测两个模型。结论:Inkling 2 Mini 代码质量确实强,在其自建硬核编码测试集上以 277:272 的 hidden asserts 小胜 Qwen 3.8 27B,代码更干净,但速度不更快、token 用量不少(11,704 vs 10,157,耗时 23 分钟 vs 16 分钟),且部署费劲——Ollama 尚不支持 PC,需 Unsloth 的 llama.cpp fork 走 ROCm,或主线 llama.cpp 加未合并的 PR #32704 走 Vulkan。生成速度仅 9–10.5 tok/s(8–14),虽只有 3.4B 激活参数,但每 token 要跑 3 遍中间层抵消了收益;约 120GB/s 内存带宽下 10 tok/s 已是天花板,Mac 和 Strix Halo 因带宽高 2–5 倍能跑到 17–27 tok/s。博主日常主力仍是 Qwen。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →