12.8GB 近无损量化版 Inkling-2-Mini 发布,手机也能跑 Haiku 级模型

teortaxesTex · x · 2026-11-22

社区发布 Inkling-2-Mini 的一系列新量化版本,规模从 12.8GB 到 3.9GB 不等,其中 4.7GB 与 3.9GB 版本可塞进 iPhone 运行。

根据配图的评测表:12.76GB 的 NVF4+Trellis 版本在全部 349 项基准上与 BF16 原版表现完全一致(100% 匹配),同时省下 32.5% 的权重内存;11.18GB 与 8.87GB 版本仍保留 98.9%99.3% 的三任务均值,KL 散度也低于 Unsloth 的 9.14GB UD-Q2KXL GGUF。更激进的 SQYFR v2 方案联合训练全部 24.46B MoE 专家与注意力 trellis 投影,把 5.38GB(1.65 bpp)版本抬到 90% top-1 一致性、87% GSM8K 和 71.3% HumanEval;4.72GB 版本按 iPhone 12GB 内存上限设计,搭配 179MB drafter,可达 82.5% GSM8K。发帖人评价其达到「Haiku 5.5 水平」。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →