Inkling Small 2 可跑进 4 张 Blackwell,750 万 token KV 缓存
LiTianleli · x · 2026-11-14
- 开源权重模型 Inkling Small 2（自称美国最强的 open weight 模型）现在可以装进 4×RTX Pro 6000（96GB Blackwell）或 3×DGX Spark。
- EXL3 3.48bpw 量化下支持 750 万 token 的 KV cache，decode 速度约 120 tok/s。
- 作者开源了 inkling2-exl3 仓库：一条 docker 命令即可自动下载模型（约 270GB）、跑 c1/c4/c8/c16 decode 与 prefill 测速，输出 markdown 表格和 JSON 结果；基于 exllamav3 v1.6.6 overlay，用 Triton 内核 + TP4 attention/EP4 experts。
- 作者表示当前还很早期，预计两天内 c1 速度提升 3 倍、c16 提升 8 倍。
「Infra」频道最新
- Ollama 一条命令本地跑 Gemma 4：7-10GB，免订阅不限量 — nikola_mr64990 · 2026-11-14
- 5090 跑 MiniMax H3 图生视频:换 cu130 破解 OOM,0.98MP 跑 20 秒 — Realistic-Fennel-190 · 2026-11-14
- Perplexity 团队在 SGLang Summit 分享极简 LLM 训练框架，即将开源 — BanghuaZ · 2026-11-14
- 27B 模型单卡多租户部署:4-bit 格式零精度损失,适配器比 LoRA 小 55 倍 — textclf · 2026-11-14
- 马斯克：未来星舰单次可送超 50 Tb/s 星链带宽上天 — elonmusk · 2026-11-14
- 英国芯片创企 Fractile 融资 9.4 亿美元,估值 75 亿叫板英伟达 — 20VC · 2026-11-14