自建 llama.cpp 分支让 12GB 显卡跑 64K 上下文,解码翻倍预填快 17 倍

Puzzled-Stick9170 · reddit · 2026-11-22

一位 Reddit 用户分享在单张 RTX 4070 Ti(12 GB)上以 51-64 tok/s 解码、约 1,500 tok/s 预填跑通 Inkling 2 Mini 64K 上下文的完整过程。原始方案用上游 llama.cpp + IQ4NL GGUF(16.4 GiB)加 CPU 专家卸载只有 29-34 tok/s。

作者 fork 了 llama.cpp(inkling-fast)并做了三件关键优化:

质量方面,与 Q80 对比的 top-1 token 匹配率 90.9%、KLD 0.048。聊天、工具调用、视觉(mmproj 走 CPU)和 prompt 缓存均正常。作者还列了踩坑:DSpark 投机解码无收益、f16 KV 在 64K 放不下必须 q80、每层专家放 CPU 约损 5 tok/s 等。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →