Inkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存

EmilPi · reddit · 2026-11-21

Reddit r/LocalLLaMA 用户实测劝退:Inkling-2-Mini 的 IQ4NL 量化版(约 17GB)在同硬件上比 Hy4-Flash 更慢,且存在影响质量的 bug——作者怀疑模型是「刷榜特化」或 llama.cpp 代码支持尚不成熟。

更离谱的是,即便做了大量取舍,17GB 的量化权重仍会撑爆 48GB 显存:在 131072 上下文长度下速度不足 20 tok/s。作者归咎于过时的架构选择——上下文足够长时 KV cache 体积会超过权重本身。简单问题上它还比 Qwen 更容易过度思考,llama.cpp 与 unsloth 团队甚至无法确定该用哪个 fork。结论:先等等,别指望达到 Qwen/Hy4-Flash 的水平。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →