Inkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存
EmilPi · reddit · 2026-11-21
Reddit r/LocalLLaMA 用户实测劝退:Inkling-2-Mini 的 IQ4NL 量化版(约 17GB)在同硬件上比 Hy4-Flash 更慢,且存在影响质量的 bug——作者怀疑模型是「刷榜特化」或 llama.cpp 代码支持尚不成熟。
更离谱的是,即便做了大量取舍,17GB 的量化权重仍会撑爆 48GB 显存:在 131072 上下文长度下速度不足 20 tok/s。作者归咎于过时的架构选择——上下文足够长时 KV cache 体积会超过权重本身。简单问题上它还比 Qwen 更容易过度思考,llama.cpp 与 unsloth 团队甚至无法确定该用哪个 fork。结论:先等等,别指望达到 Qwen/Hy4-Flash 的水平。
「Infra」频道最新
- AI 网关正成生产级 AI 栈的关键控制层:八大核心能力清单 — goyalshaliniuk · 2026-11-21
- RTX Spark 旧金山首发会排队试玩,本地模型成主角 — JFPuget · 2026-11-21
- Cloudflare 上架多模态模型 clairic-flash,登 Hugging Face 热榜 — Cloudflare · 2026-11-21
- Hy 官方 AMA 干货:Flash 需 96GB 显存+128GB 内存,量化细节全公开 — allegedlyalienated · 2026-11-21
- Inkling-2-Mini 本地部署门槛低至 9GB 内存,各级量化需求一览 — NielsRogge · 2026-11-21
- 观点:只有基建硬资源卷到死透,应用层的春天才会到来 — yangyi · 2026-11-21