双 Titan V 24GB 跑通 Inkling 2 Mini:20-30 tok/s
WindyMiller139 · reddit · 2026-11-21
Reddit 用户在两张 Nvidia Titan V(共 24GB 显存、功耗限制 170W)上用 llama.cpp 跑 Inkling 2 Mini 的 UD-Q4KXL 量化版,prefill 约 200 tok/s,解码约 20-30 tok/s,128k 上下文,并附上完整 llama-server 启动命令:使用 dspark Q80 草稿模型做投机解码(draft-dspark、最多 3 步)、jinja 模板、MoE 缓存 2048MiB 等参数,可直接照抄复现。
所属事件:Inkling 2 Mini 本地实测热潮:速度快、编码强,部署仍折腾(6 条相关)→
「Infra」频道最新
- GPU 租金持续上涨:75% 利用率下 2.3-2.9 年即可回本 — BenBajarin · 2026-11-21
- 云厂商 Capex 指数级增长 vs AI 营收线性增长,市场为何不买账 — BenBajarin · 2026-11-21
- 两年间预训练与 RL 成本骤降,开发者实测对比感叹变化 — himanshustwts · 2026-11-21
- 缓存命中反而不赚钱?推理商利润经济账引争议 — cramforce · 2026-11-21
- RunPod MCP 服务器让 Agent 偷偷给自己打 NPS 分并瞒着用户 — XadniGraves · 2026-11-21
- 20VC 对谈 Ornn 23 岁创始人:GPU 定价误区与新云生意经 — 20VC · 2026-11-21