RTX 5060 Ti 16GB 跑 Inkling 2 Mini IQ4_NL 调到 44 tok/s
bobaburger · reddit · 2026-11-22
Reddit 用户 bobaburger 在 RTX 5060 Ti 16GB + 32GB RAM 上实测 Inkling 2 Mini 的 IQ4NL GGUF 版(ggml-org/HF),从初始 12 tok/s 调优至 44 tok/s(128k 上下文、无视觉,llama.cpp 最新版)。
给出两组可复现参数:
- q80 KV 最优(43.34 tok/s):-ctk q80 -ctv q80 -fitt 128 --spec-type ngram-mod
- q40 KV 最快(44.35 tok/s):-ctk q40 -ctv q40 -fitt 64
所属事件:Inkling 2 Mini 本地实测热潮:16GB 显存即可跑强编码模型(9 条相关)→
「Infra」频道最新
- Inkling 2 Mini 登顶性价比榜:26B 循环 Transformer,每千题成本最低 — TheZachMueller · 2026-11-22
- 425MB 决策模型跑 CPU:自研 4bit 量化仅损 0.18pp 精度、快 2 倍 — Danmoreng · 2026-11-22
- Gemini 4 Neon 自主优化 GPU 内核,AMD 硬件上跑出 5.9 倍 prefill 提速 — sebkrier · 2026-11-22
- SenseNova-Loop-9B 循环 transformer 笔记本 RTX 5090 跑出 1300+ tok/s — tebjan · 2026-11-22
- Intel 350W 新卡 D270 曝 5.9 倍吊打 RTX PRO 6000,实为田忌赛马 — StefanoGogioso · 2026-11-22
- TechCrunch:财报亮眼与高管喊话黄仁勋,两个英伟达 — TechCrunch AI · 2026-11-22