17.6GB 模型跑进 12GB 手机:Inkling 2 Mini 达 3 tok/s
dai_app · reddit · 2026-11-22
开发者在发布前几小时展示了在 12GB 内存的安卓手机(约 $400)上运行 17.6GB 的 Inkling-2-Mini(IQ4NL 量化,GGUF)。
- 引擎为预发布的 BigMoeOnEdge v0.47.1,支持内存低于模型需求的硬件自动运行
- 配置:CPU decode,NPU(Hexagon)或 CPU prefill
- 实测 180 token 回复约 2-3 tok/s,最快峰值约 4 tok/s
- 声称速度与 Strata、Basalt 等相当,覆盖安卓/iOS 手机、Mac、消费级笔记本与 GPU 到数据中心 GPU
- 模型权重:huggingface.co/ggml-org/Inkling-2-Mini-GGUF
「Infra」频道最新
- 研究:就地建光储电站是美国多数地区 AI 数据中心最便宜的供电方案 — mattbeane · 2026-11-22
- AMD 向 Rust 推理引擎 LexiEngine 新增 Inkling 模型支持 — W61k3r · 2026-11-22
- 9B 模型跑出 59 tok/s:SenseNova-Loop-9B 在 16GB 显卡实测 — AIFlow_ML · 2026-11-22
- 16-32GB 内存能跑的本地模型,2025 年底追平闭源 SOTA 了吗 — AnimalPuzzleheaded71 · 2026-11-22
- NVIDIA 新论文:把推理缓存成 CPU 代码,同类问题便宜 16-291 倍 — rohanpaul_ai · 2026-11-22
- 异步RL的max_staleness=3真能限住陈旧度吗?10个框架实测多数做不到 — 青稞AI · 2026-11-22