Inkling 2 Mini 量化版发布:5.4GB 保留91%性能,跑_local党狂欢

teortaxesTex · x · 2026-11-21

Inkling 2 Mini——目前在各基准(DeepSWE v1.1 得分 48.2%、Vals Index v2.2 得分 46.5%)上领先所有 100B 总参数以下开源权重模型、每 token 有效激活 5.4B 的模型——有了量化版本:shinboson 将其量化到 5.4GB 和 8.9GB 两档,分别保留原版 91.2% 和 96.8% 的性能。更快的 draft 版和 iPhone 版已在路上。对显存/内存吃紧的本地部署玩家来说是个好消息。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →