Basalt 0.5.5 本地跑 Inkling-2-Mini 达 613 tps,19.7GB 模型包
udmrzn · x · 2026-11-23
Basalt 推理引擎开发者连发更新,本地大模型推理速度屡创新高:
- Inkling-2-Mini(Thinking Machines 新发布的 26.4B looped-transformer MoE):RTX 5090 上结构化输出达 613 tps、对话 338 tps、散文 287 tps;RTX 5060 Ti 16GB 也有约 60 tps。模型包仅 19.7GB(NVFP4)
- 同卡对比 llama.cpp(IQ4NL GGUF)解码约 95 tps,Basalt 散文生成 287 tps,约 3 倍差距
- Prompt 处理:2K 上下文约 14,100 tps,128K 约 8,900 tps
- 此前一天,Basalt 0.5.0 已让腾讯 224B 总参/12B 激活的 Hy4-Flash 借助系统内存 + RTX 5090/5060 Ti 双卡跑出最高 172 tps,NVFP4 包 159GB
- Basalt 支持原生视觉与 DSpark 等特性
「Infra」频道最新
- 高盛前 CEO:LAI 正改变财报与股价关系,但愿只是幻觉 — firstadopter · 2026-11-23
- 离线有声书应用 VoiceShelf 上架:NPU 跑 Kokoro 达 45 倍实时 — Simple-Lecture2932 · 2026-11-23
- Databricks 高官直指推理服务商糟蹋 ZDR 承诺成行业常态 — pwendell · 2026-11-23
- Cerebras CEO:靠架构选择绕开 HBM、CoWoS、台积电 3nm 三大瓶颈 — rohanpaul_ai · 2026-11-23
- 开源引擎 Kapitsa 在 M5 Max 上跑出 960+ tok/s 预填充 — 0zyman23 · 2026-11-23
- 数据中心反让电价下降:阿拉巴马电力拟降费 1.6 亿美元 — binarybits · 2026-11-23