Strata 0.2.19 本地跑 Inkling 2 Mini,RTX 5090 输出超 4000 tokens/s
CurieuxExplorer · x · 2026-11-23
Strata 发布 0.2.19 版本,重点是原生支持 Thinking Machines Lab 的 Inkling 2 Mini——一个 26.4B 参数的循环 MoE 模型(每 token 激活 3.4B,循环激活 5.4B,支持 1M 上下文、图文输入与 OpenAI 兼容工具调用),可在 Windows、Linux、macOS Apple Silicon、Intel Arc 和 NVIDIA DGX Spark 上本地运行。
- 实测数据:RTX 5090 上 prefill 达 11,306 tokens/s,输出 4,087 tokens/s
- 提供三档量化包:SQ-10(10.47 GB,4 GiB 显卡起可混合运行)、SQ-15(14.35 GB,16 GiB 显卡全显存,与原始权重 top-1 一致率 96.68%)、SQ-20(19.35 GB,24 GiB+ 的无损 SF4+MX8 版本)
- 同时 Qwen3.8-Flash-Next 在全部支持的硬件上获得约 40% 性能提升
「Infra」频道最新
- 《大空头》原型 Eisman 警告:黄仁勋离任或引爆英伟达循环融资连锁危机 — SumitGup · 2026-11-23
- Cloudflare Workers Traces 12/1 起收费,调低采样率可省大钱 — yihui_indie · 2026-11-23
- 晒1.9万美元64核Threadripper工作站,呼应「未来公司三要素」论 — jacob_posel · 2026-11-23
- 一边喊 GPU 过剩一边租不到便宜卡:讽刺帖戳破算力泡沫叙事 — generativist · 2026-11-23
- 联想企业 AI 基础设施收入暴增 200%,超过云厂商增速,在手订单 800 亿美元 — shashib · 2026-11-22
- 开发者开源 Wiretok:本地只读监控 Antigravity 压缩余量与 API 花费 — phosphorhouse · 2026-11-22