Inkling 2 Mini 量化后单张 4090 跑出近 60 t/s 解码

indrasmirror · reddit · 2026-11-21

开发者 indrasmirror 将 Thinking Machines 新开源的 Inkling 2 Mini(26B MoE,约 3B 激活,中间 12 层每 token 循环跑 3 次的 looped 架构)做出去除拒答(ablitération)并量化到 13.9GB GGUF,在单张 RTX 4090 上完整运行。

GitHub 与 Hugging Face 权重均已公开。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →