2.8T Kimi K3.1-Pro 压到 775GB 单卡跑：精度无损、吞吐 36.8 TPS
Grawnch · reddit · 2026-11-09
作者把 2.8T 参数的 Kimi-K3.1-Pro（原生约 1.77TB，通常需要约 22 张 80GB GPU）压缩到 775GB（-56%），在单张 RTX PRO 6000 Blackwell + 176GB RAM + NVMe 上跑通全部 93 层。
做法要点：
- 利用了「每层 384 个路由专家不会被打平等」的 MoE 特性：路由专家按 2.81/2.56/1.44 bpw 三档量化（平均约 1.92 bpw），共享专家、注意力与 embedding 保持 BF16/F32
- 自研 Strata Fork：三层卸载引擎（热 GPU VRAM / 温 pinned RAM / 冷 NVMe mmap），用 router lookahead 预取，实测有效命中率 97.9%
- 自研 dr-triton：融合 Triton 反量化内核，压缩权重保持打包状态走 PCIe，到 GPU SRAM 才展开
- 层级划分可按自己的硬件调整；自定义打包布局无法直接进 vanilla llama.cpp/vLLM，但可单独导入 dequant 模块
评测结果几乎无损：AIME 2025 与 LiveCodeBench 均 29/30（96.67%），与原模型逐题一致；Top-1 token 一致率 95.2%、Top-5 99.9%；困惑度仅上升 1-2.7%。吞吐：测试环境 batch 36.8 / 单流 10.8 TPS，文中还给出 1x4090+128G RAM（约 12.5/4.8 TPS）到 2x PRO 6000+512G RAM（58/19.5 TPS）等多档配置的速度预估。
「Infra」频道最新
- Jensen 出事早有预感？博主称 ASIC 崛起后已无必要手软 — teortaxesTex · 2026-11-09
- Reflection AI 发布首个模型 Beam，首位员工复盘从千卡 H100 到 GB300 集群的一年 — bigblueboo · 2026-11-09
- 美银：全球数据中心支出已破 1 万亿美元，2028 年将翻倍至 2.1 万亿 — Beth_Kindig · 2026-11-09
- 五年前的 RTX 3090 在视频生成基准上完胜 128GB 统一内存新机 — Ok_Bird4483 · 2026-11-09
- 网友讽黄仁勋"AI 安全大师计划":辞职拖垮泡沫延迟 AGI 十年 — ShakeelHashim · 2026-11-09
- Chamath：数据中心供给吃紧，SpaceX 可 90 天通知对 Anthropic 提价 2-3 倍 — rohanpaul_ai · 2026-11-09