Unsloth 发布 Inkling-2-Small GGUF 量化版，本地可跑
gnukeith · x · 2026-11-13
Unsloth 在 Hugging Face 上线 unsloth/Inkling-2-Small-GGUF，为 Inkling-2-Small 提供 GGUF 量化权重，方便在本地/端侧用 llama.cpp 等推理栈运行。作者 gnukeith 发帖致谢 Unsloth 团队（@UnslothAI、@danielhanchen）。
页面正文还包含该模型 chat template 的 Jinja 代码片段，涉及浮点数格式化（科学计数法/小数位处理）、超出 int64/uint64 范围的整数回退为浮点解析，以及按码点排序 key、紧凑分隔符、原始 UTF-8 的规范化 JSON 序列化宏。
所属事件:Unsloth 发布 Inkling-2-Small GGUF 量化版，171GB 本地跑 594B 模型(2 条相关)→
「Infra」频道最新
- Cloudflare 首发托管 Thinking Machines 的 inkling 2 small 模型 — michellechen · 2026-11-14
- Liquid-Codec 解码器移植 Apple 神经引擎,速度提升 6 倍 — JosephJacks_ · 2026-11-14
- AMD MI355X 跑 vLLM 反超 Blackwell,推理 MiniMax M3.1 部分场景胜 GB — AnushElangovan · 2026-11-14
- 腾讯论文:按路由贡献剪神经元,MoE 砍 25% 仍保 91-98% 性能 — rohanpaul_ai · 2026-11-14
- AMD Loom 让 Agent 给 51 个热门模型写内核，Strix Halo 上快过 llama.cpp — jfowers_amd · 2026-11-14
- 微软云季度收入超 630 亿美元，AI 基建扩张仍在加速 — thedealdirector · 2026-11-14