Inkling 2 Mini 单张 5090 跑出 613 tok/s 解码,支持 1M 上下文
jesdga95 · reddit · 2026-11-21
Thinking Machines 发布的小型 MoE 模型 Inkling 2 Mini 引发关注,部分任务上超过 Qwen 3.8 27B。Reddit 用户 jesdga95 发布了 Basalt 0.5.5 引擎在单张 RTX 5090 上运行它的实测。
- 速度:散文 287 tok/s,结构化输出 613 tok/s,聊天 338 tok/s;prefill 约 14.1K tok/s(2K 上下文);同卡 llama.cpp IQ4NL GGUF 仅约 95 解码/3.1K prefill
- 质量保持:专家权重以 NVFP4 原样保留,对官方发布版 KLD 约 0.003,top-1 一致性 97.8%
- 单张 5090 支持 1M 上下文,冷专家可移入 RAM;131K 和 400K needle 测试通过;16GB 卡(5060 Ti)也能跑到约 60 tok/s
- 3.4B 激活参数,作者测试中在 agentic coding 上与大得多的模型打得有来有回;支持 DSpark drafting、图像输入、工具调用
- 附带提醒:NVFP4 GGUF 输出乱码是 llama.cpp 的 loop slot bug,Unsloth 的修复 PR 已合并
「Infra」频道最新
- SpaceX 贷款方阻拦 400 亿美元 AI 芯片上天:违约收不回抵押品 — basedjensen · 2026-11-21
- 801-30B-A3B 技术报告:拆解预训练自改进环,11.8 万亿 token 三个月炼成 — jiqizhixin · 2026-11-21
- NVIDIA 论文:频繁压缩上下文可省 3.6-7 倍 token 成本 — khademinori · 2026-11-21
- 分析师猜测:OpenAI 多重困境根源是 GPU 算力短缺 — mark_k · 2026-11-21
- 为跑 24/7 智能体系统,研究者自制本地 GPU 服务器替代 Mac mini — nodosenlared · 2026-11-21
- 单卡 RTX 3090 跑出 129.5 tok/s 与 344K 上下文,自研推理引擎对比 llama.cpp 提速 2.3 倍 — teortaxesTex · 2026-11-21