Inkling-2 Mini 本地实测:懂得按任务量分配思考,RTX 3090 跑 91 tok/s
LiTianleli · x · 2026-11-22
用户实测 Thinking Machines 的 Inkling-2 Mini,亮点是「思考预算分配」:小任务思考不到 10k token 就收尾,任务更大时自动多想且不空转循环,不会像很多模型那样对大小任务一视同仁地过度思考或欠思考。
运行细节:模型完全本地运行(非 API),使用 Unsloth 的 UD-Q4KXL 量化版,在 RTX 3090 上通过 superalesha 的 Maya fork 推理,速度约 91 tok/s,该 fork 即将合入 Maya 主线。配图显示 5 failed 0、prefill 1.7k tok/s,一次回答耗时 24 分钟、thinking 达 67,432 token。
「模型」频道最新
- 老婆为查 Theranos 电影用光了一整周 Claude 额度 — DavidWells · 2026-11-22
- 单卡 RX 7900 XTX 跑出 524k 上下文,自研推理引擎速度达 llama.cpp 5 倍 — W61k3r · 2026-11-22
- 微调 Qwen3 后导出丢失 MTP 头,解码悄悄变慢无人察觉 — AIFlow_ML · 2026-11-22
- 设计圈 KOL:Google 新模型太猛,感觉它即将碾压所有对手 — AIandDesign · 2026-11-22
- 多模型玩『敲门听声』游戏,Opus 4.5 一开口就被认出 — repligate · 2026-11-22
- 网友整活要求 Claude「理解全部数学柏拉图领域且零错误」 — burny_tech · 2026-11-22