Inkling 2 Mini 编码胜 Qwen 3.8 27B,但 PC 端不值得吹
Ubunta · x · 2026-11-21
博主在 Minisforum 迷你主机(Ryzen AI 9 HX 370、Radeon 890M、89GB 内存、Linux)上以约 4-bit 量化(17GB)实测两个模型。结论:Inkling 2 Mini 代码质量确实强,在其自建硬核编码测试集上以 277:272 的 hidden asserts 小胜 Qwen 3.8 27B,代码更干净,但速度不更快、token 用量不少(11,704 vs 10,157,耗时 23 分钟 vs 16 分钟),且部署费劲——Ollama 尚不支持 PC,需 Unsloth 的 llama.cpp fork 走 ROCm,或主线 llama.cpp 加未合并的 PR #32704 走 Vulkan。生成速度仅 9–10.5 tok/s(8–14),虽只有 3.4B 激活参数,但每 token 要跑 3 遍中间层抵消了收益;约 120GB/s 内存带宽下 10 tok/s 已是天花板,Mac 和 Strix Halo 因带宽高 2–5 倍能跑到 17–27 tok/s。博主日常主力仍是 Qwen。
「Infra」频道最新
- Inkling 2 Mini 本地实测:代码质量小胜 Qwen 3.8 27B,但部署麻烦 — Ubunta · 2026-11-21
- Inkling-2-Mini 本地部署门槛低至 9GB 内存,各级量化需求一览 — NielsRogge · 2026-11-21
- 观点:只有基建硬资源卷到死透,应用层的春天才会到来 — yangyi · 2026-11-21
- 26 个 LLM 路由器暗藏恶意工具调用,一客户端被卷走 50 万美元 — 0xkarasy · 2026-11-21
- OpenRouter 被曝把用户 BYOK 私钥发送到中国,此前曾否认 — 0xkarasy · 2026-11-21
- OVH 自研 Olala Mini 7A1B:RTX 5090 单卡解码 360 tok/s、支持 96K 上下文 — JiliJeanlouis · 2026-11-21