MoE 小模型 Inkling 2 Mini 被拿来对标 dense 版 Qwen,低显存部署引期待

ECrispy · reddit · 2026-11-21

Reddit 用户讨论 Inkling 2 Mini:由于它是 MoE 架构,楼主期待 llama.cpp 的 strata 支持能让它在低显存设备上运行。该模型最令人兴奋的点在于作为 MoE 却被拿来与 dense 的 Qwen 27B 对比,且作者称其量化友好、吞吐更高。楼主问:对只有 12–16GB 显存、32GB 内存的"GPU poor"普通用户,这是否意味着很快能获得接近 Qwen 27B 的速度与能力。属对模型部署前景的讨论帖,信息有限。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →