Inkling 2 Mini 量化版发布:5.4GB 保留91%性能,跑_local党狂欢
teortaxesTex · x · 2026-11-21
Inkling 2 Mini——目前在各基准(DeepSWE v1.1 得分 48.2%、Vals Index v2.2 得分 46.5%)上领先所有 100B 总参数以下开源权重模型、每 token 有效激活 5.4B 的模型——有了量化版本:shinboson 将其量化到 5.4GB 和 8.9GB 两档,分别保留原版 91.2% 和 96.8% 的性能。更快的 draft 版和 iPhone 版已在路上。对显存/内存吃紧的本地部署玩家来说是个好消息。
「Infra」频道最新
- 开源模型效率更低但部署更分散,反而可能推高芯片销量 — aronchick · 2026-11-21
- 传 score centering 是 OpenAI 终极 RL 算法,可容忍较大推理更新延迟 — teortaxesTex · 2026-11-21
- 31美元/月租四通道EPYC+128GB:CPU跑LLM稳定128k上下文 — Ne00n · 2026-11-21
- 自研 Swift 引擎实测三权重 Bonsai 2:A14 上解码快 Qwen 32% — leo-k7v · 2026-11-21
- 62 条引用织成《The Organic Web》:一篇解剖数据重量与网络腐坏的随笔 — round · 2026-11-21
- ARK 测算 Starship 边际成本 2027 年降至 358 美元/公斤 — mitchdeg · 2026-11-21