Unsloth 量化 Inkling 2 Small：1bit 动态量化 171GB 即可本地跑 594B 模型
gnukeith · x · 2026-11-13
Unsloth 发布了 Thinking Machines Lab 的 Inkling 2 Small 本地运行指南。该模型是 594B 参数的 MoE（激活参数 17B），支持文本和图像输入、100 万 token 上下文，在 DeepSWE v1.1 得分 72.1%、SWEBench Pro v2 (Hard) 得分 86.3%。
关键量化数据：UD-IQ1S 动态 1bit 量化仅需 171.7GB（对比 NVFP4 的 394GB），保留 89.7% 的 top-1% 准确率，体积小 57%。指南给出推荐采样参数（temperature 1.0、top-p 1.0、min-p 0.0，xhigh 推理强度），并说明可通过 GGUF 模板切换 reasoning effort（none/minimal/low/high/xhigh），llama.cpp 中用 --jinja 启用内嵌聊天模板。作者 gnukeith 顺带称赞 Unsloth 的工作被严重低估。
所属事件:Unsloth 发布 Inkling-2-Small GGUF 量化版，171GB 本地跑 594B 模型(2 条相关)→
「Infra」频道最新
- Databricks AI 自写 GPU 内核获 Meta 内核大赛亚军,提速 2.5 倍 — Yuchenj_UW · 2026-11-14
- 全球流通 12 亿块 GPU,人均七分之一：「如何武装另外六人？」 — shakoistsLog · 2026-11-14
- 摩根士丹利：谷歌 TPU 占全球算力需求 35%,仅比英伟达低 1 个点 — cgarciae88 · 2026-11-14
- Anthropic 营收 6 季增 45 倍算力仅增 10 倍，毛利率升至 85% — peterwildeford · 2026-11-14
- 潜在反馈4行代码省46%预训练算力,省的数据随模型变大而增多 — _arohan_ · 2026-11-14
- YC 转发初创 Nines Robotics:让机器人自主管理 AI 数据中心 — ycombinator · 2026-11-14