RTX 5060 Ti 16GB 跑 Inkling 2 Mini IQ4_NL 调到 44 tok/s

bobaburger · reddit · 2026-11-22

Reddit 用户 bobaburger 在 RTX 5060 Ti 16GB + 32GB RAM 上实测 Inkling 2 Mini 的 IQ4NL GGUF 版(ggml-org/HF),从初始 12 tok/s 调优至 44 tok/s(128k 上下文、无视觉,llama.cpp 最新版)。

给出两组可复现参数:

所属事件:Inkling 2 Mini 本地实测热潮:16GB 显存即可跑强编码模型(9 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →