自建 llama.cpp 分支让 12GB 显卡跑 64K 上下文,解码翻倍预填快 17 倍
Puzzled-Stick9170 · reddit · 2026-11-22
一位 Reddit 用户分享在单张 RTX 4070 Ti(12 GB)上以 51-64 tok/s 解码、约 1,500 tok/s 预填跑通 Inkling 2 Mini 64K 上下文的完整过程。原始方案用上游 llama.cpp + IQ4NL GGUF(16.4 GiB)加 CPU 专家卸载只有 29-34 tok/s。
作者 fork 了 llama.cpp(inkling-fast)并做了三件关键优化:
- 修复静默量化回退 + 环感知量化(mixB):专家下投影行宽 1152 不是 256 的倍数,导致 IQ2/IQ3 静默回退到 IQ4NL。作者加 --pad-exps 把行零填充到 1280,并按循环层(6-17 层每 token 跑 3 次)分配更多比特,最终量化文件压到 10.3 GiB。
- 在 CUDA Flash Attention 内融合相对位置偏置:64K 上下文下计算缓冲从约 6.5 GB 降到约 1 GB,是预填从 88 提升到 1,500 tok/s 的主因。
- 减少每 token 内核启动(约 5,000 → 3,500):作者发现 12GB 卡上解码是内核启动瓶颈而非带宽瓶颈——全 IQ2XXS 与全 IQ2S 解码速度完全一样;新增融合算子并缓存静态图后,同一文件解码从 54 提到 63.5+ tok/s。
质量方面,与 Q80 对比的 top-1 token 匹配率 90.9%、KLD 0.048。聊天、工具调用、视觉(mmproj 走 CPU)和 prompt 缓存均正常。作者还列了踩坑:DSpark 投机解码无收益、f16 KV 在 64K 放不下必须 q80、每层专家放 CPU 约损 5 tok/s 等。
「Infra」频道最新
- 谷歌 AI 会员每月白送云端赠金:Pro 月送 10 刀,Ultra 20x 月送 100 刀 — lxfater · 2026-11-22
- Inkling 2 mini 千兆上下文 KV 缓存设计拆解:仅 8 层保留全缓存 — teortaxesTex · 2026-11-22
- 马斯克:算力将优先投向 Optimus,汽车 AI 维持 AI4 — CyberRobooo · 2026-11-22
- Comet 修复八处瓶颈,Opik 数据摄取提速 30 倍 — dl_weekly · 2026-11-22
- Rust 版 Code Mode 开源:号称砍掉 60% Agent 工具调用 token 开销 — legend-of-alan · 2026-11-22
- AMD Instinct GPU 实现确定性恢复,排查 vLLM 训练事故更快 — kbesplv · 2026-11-22