Inkling-2 Mini 本地实测:懂得按任务量分配思考,RTX 3090 跑 91 tok/s

LiTianleli · x · 2026-11-22

用户实测 Thinking Machines 的 Inkling-2 Mini,亮点是「思考预算分配」:小任务思考不到 10k token 就收尾,任务更大时自动多想且不空转循环,不会像很多模型那样对大小任务一视同仁地过度思考或欠思考。

运行细节:模型完全本地运行(非 API),使用 Unsloth 的 UD-Q4KXL 量化版,在 RTX 3090 上通过 superalesha 的 Maya fork 推理,速度约 91 tok/s,该 fork 即将合入 Maya 主线。配图显示 5 failed 0、prefill 1.7k tok/s,一次回答耗时 24 分钟、thinking 达 67,432 token。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →