16GB 显卡实测 Inkling-2-Mini:快 19 分钟但远不及 27B 档

Distinct-Pie2389 · reddit · 2026-11-23

一位 16GB 显存用户分享 Inkling-2-Mini 本地实测(Q4KXL、262K 上下文、INT8 KV):在 airbench 的同一套基准上耗时约 1 小时、得分 98%(取最好 2/3),而 27B 模型耗时 1 小时 24 分。

结论是速度虽快,但真实任务表现「拉胯」,远不到 27B 档,标准基准上也比不过。作者认为它只对装不下 27B 的低显存机器有吸引力——Q4 到 Q1 的量化衰减曲线理论上会更平缓,对自己而言没有使用价值,欢迎反驳。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →