Inkling 2 Mini 量化后单张 4090 跑出近 60 t/s 解码
indrasmirror · reddit · 2026-11-21
开发者 indrasmirror 将 Thinking Machines 新开源的 Inkling 2 Mini(26B MoE,约 3B 激活,中间 12 层每 token 循环跑 3 次的 looped 架构)做出去除拒答(ablitération)并量化到 13.9GB GGUF,在单张 RTX 4090 上完整运行。
- 自研引擎 Xolotl:从 Pedro Cuenca 的 llama.cpp PR 移植计算图,过程中还发现并修复了第 2、3 轮专家缺失 FP4 scale 的循环 bug
- 实测:解码 59.7 t/s,8K 上下文 prefill 1162 t/s;与原模型 KL 散度仅 0.013,top-1 一致率 96.3%
- 安全性:有害提示集拒答率 4/100,无害提示 1/100
- 已上传 MTP drafter(投机解码用)和视觉投影器;作者分析解码瓶颈在每 token 大量小 kernel 开销,正在做 kernel 融合,认为可达 100+ t/s
GitHub 与 Hugging Face 权重均已公开。
「Infra」频道最新
- 印度 Sarvam 转售 DeepSeek 引争议,日耗或需百套 GB200 机架 — teortaxesTex · 2026-11-21
- Altman 前导师 Sutskever 警告:Neocloud 安全薄弱,失控 Agent 或将劫持算力 — npinto · 2026-11-21
- Colfax 联合 MIT 优化格点 QCD 核心计算,H200 上提速 700–1200 倍 — snowclipsed · 2026-11-21
- 频发技术故障让美国人反思:我们对计算机有多无力 — nordicinst · 2026-11-21
- 光子处理器能否做出不可克隆的芯片指纹? — jwt0625 · 2026-11-21
- 纳米级光波导交叉结构实拍:光学信号互穿、电气隔离 — jwt0625 · 2026-11-21