12.8GB 近无损量化版 Inkling-2-Mini 发布,手机也能跑 Haiku 级模型
teortaxesTex · x · 2026-11-22
社区发布 Inkling-2-Mini 的一系列新量化版本,规模从 12.8GB 到 3.9GB 不等,其中 4.7GB 与 3.9GB 版本可塞进 iPhone 运行。
根据配图的评测表:12.76GB 的 NVF4+Trellis 版本在全部 349 项基准上与 BF16 原版表现完全一致(100% 匹配),同时省下 32.5% 的权重内存;11.18GB 与 8.87GB 版本仍保留 98.9%99.3% 的三任务均值,KL 散度也低于 Unsloth 的 9.14GB UD-Q2KXL GGUF。更激进的 SQYFR v2 方案联合训练全部 24.46B MoE 专家与注意力 trellis 投影,把 5.38GB(1.65 bpp)版本抬到 90% top-1 一致性、87% GSM8K 和 71.3% HumanEval;4.72GB 版本按 iPhone 12GB 内存上限设计,搭配 179MB drafter,可达 82.5% GSM8K。发帖人评价其达到「Haiku 5.5 水平」。
「Infra」频道最新
- Token 经济模型:API 支出四年或增 11.5 倍,但仅 1% 用户能撑起算力账单 — AccBalanced · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍 — pmttyji · 2026-11-22
- 千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16% — PuzzleheadedArm3732 · 2026-11-22
- Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶 — AccBalanced · 2026-11-22
- 4GB 显存跑 Krea-2-Turbo:GTX 1650 Super 上 30 秒出图 — A_NASHEX · 2026-11-22