18.3GB 单文件跑 52 万 token 上下文:Inkling-2-Mini GPTQ 量化版发布
W61k3r · reddit · 2026-11-23
作者 Wa1k3r 在 Hugging Face 发布 Inkling-2-Mini-8Q-RCO-GPTQ 量化模型:单个 18.3 GB 文件即可在单张 24 GB 显卡上运行 524,288 token(约 52 万)的超长上下文,且文件内置模型自带的 draft head(用于投机解码/草稿生成)。
该文件由配套工具链生产并为其优化:量化工具来自 LexiPanel,推理引擎 LexiSuite 用 Rust 编写,属于围绕该模型的一整套自研本地推理栈。
「Infra」频道最新
- AI 推理圈新梗:如果奶奶会 KV Cache 分解,她就是 vLLM — dejavucoder · 2026-11-23
- Anthropic 现场供电 80% 为简易循环燃气轮机,年健康损失或达 20-30 亿美元 — petrusenko_max · 2026-11-23
- 作者用两个 Agent 实测 OpenRouter 路由:最便宜的供应商最不可靠 — MikePFrank · 2026-11-23
- 开发者直言:99% 的人不该自托管本地模型 — gnukeith · 2026-11-23
- 三星实验室开源 LittleBit:LLM 权重压至 0.1 比特仍可用 — MikePFrank · 2026-11-23
- 科技公司吹嘘数据中心创造就业,博主批其粉饰真实社区影响 — feregri_no · 2026-11-23