MoE 小模型 Inkling 2 Mini 被拿来对标 dense 版 Qwen,低显存部署引期待
ECrispy · reddit · 2026-11-21
Reddit 用户讨论 Inkling 2 Mini:由于它是 MoE 架构,楼主期待 llama.cpp 的 strata 支持能让它在低显存设备上运行。该模型最令人兴奋的点在于作为 MoE 却被拿来与 dense 的 Qwen 27B 对比,且作者称其量化友好、吞吐更高。楼主问:对只有 12–16GB 显存、32GB 内存的"GPU poor"普通用户,这是否意味着很快能获得接近 Qwen 27B 的速度与能力。属对模型部署前景的讨论帖,信息有限。
「Infra」频道最新
- PostHog 用 Jev 决策模型替代 LLM 调用,成本低至 1/444、快 193 倍 — yawnxyz · 2026-11-21
- DeepSeek-V4.1-Flash 单台 M5 Ultra 跑出 59.5 tok/s,功耗仅约 160W — AIFlow_ML · 2026-11-21
- 印度 Sarvam 转售 DeepSeek 引争议,日耗或需百套 GB200 机架 — teortaxesTex · 2026-11-21
- Altman 前导师 Sutskever 警告:Neocloud 安全薄弱,失控 Agent 或将劫持算力 — npinto · 2026-11-21
- Colfax 联合 MIT 优化格点 QCD 核心计算,H200 上提速 700–1200 倍 — snowclipsed · 2026-11-21
- 频发技术故障让美国人反思:我们对计算机有多无力 — nordicinst · 2026-11-21