18.3GB 单文件跑 52 万 token 上下文:Inkling-2-Mini GPTQ 量化版发布

W61k3r · reddit · 2026-11-23

作者 Wa1k3r 在 Hugging Face 发布 Inkling-2-Mini-8Q-RCO-GPTQ 量化模型:单个 18.3 GB 文件即可在单张 24 GB 显卡上运行 524,288 token(约 52 万)的超长上下文,且文件内置模型自带的 draft head(用于投机解码/草稿生成)。

该文件由配套工具链生产并为其优化:量化工具来自 LexiPanel,推理引擎 LexiSuite 用 Rust 编写,属于围绕该模型的一整套自研本地推理栈。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →