双 Titan V 24GB 跑通 Inkling 2 Mini:20-30 tok/s

WindyMiller139 · reddit · 2026-11-21

Reddit 用户在两张 Nvidia Titan V(共 24GB 显存、功耗限制 170W)上用 llama.cpp 跑 Inkling 2 Mini 的 UD-Q4KXL 量化版,prefill 约 200 tok/s,解码约 20-30 tok/s,128k 上下文,并附上完整 llama-server 启动命令:使用 dspark Q80 草稿模型做投机解码(draft-dspark、最多 3 步)、jinja 模板、MoE 缓存 2048MiB 等参数,可直接照抄复现。

所属事件:Inkling 2 Mini 本地实测热潮:速度快、编码强,部署仍折腾(6 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →