Inkling 2 Mini 去审查 GGUF 版本涌现,12GB 显存可本地运行
围绕 Thinking Machines 开源的 Inkling-2-Mini(26.4B),社区在 11 月 22 日至 23 日密集出现多个可本地运行的量化与去审查衍生版本,引发对开源模型安全对齐可被低成本移除的讨论。
已确认
- AtomicChat 团队(其成员 Daniel)发布了 Inkling-2-Mini 的去审查 GGUF 量化版,做法是用一个小的 LoRA 适配器移除模型的拒答方向(refusal directions),并烘入 GGUF 量化。据发布方自己的测试,去审查后拒绝率从 100% 降到 0%。
- 该去审查量化版共 3 个规格,体积 8.67-16.53GB,可在 12GB 显存笔记本上本地运行。
- @udmrzn 转述了同一发布,未提供额外信息。
- nokeepai 团队在 Reddit 发布 Inkling-2-Mini-Unbound v2:先 abliterate 再自我蒸馏的去审查模型,并给出完整方法与评测数据。其发现 v1 去审查后出现「半答问题」——虽不拒绝但回答不完整;v2 将有用回答率从 52% 提升至 79%。
- 该无审查 GGUF 版本登上 Hugging Face 趋势榜(@AtomicChat、@Turbulent-Sky5396 均有报道)。
- 作者还在 Hugging Face 上线了 AtomicChat/Inkling-2-Mini-GGUF 官方量化版(非去审查),模板配置显示支持可调「思考力度」(reasoning effort),方便本地部署。
为什么重要
- 拒答率从 100% 降到 0%、且仅需一个 LoRA 适配器即可完成,说明 26B 级开源模型的安全对齐可被极低成本移除,这对开源模型的滥用风险与发布策略都具有警示意义。
- nokeepai 的 v2 展示了一条「去审查后修复有用性」的自我蒸馏路线,并公开方法与评测数据,为后续社区研究提供了参考。
- 12GB 显存即可本地运行,大幅降低了获取无限制模型的门槛。
2026-11-22 ~ 2026-11-23 · 5 条相关
一手来源
- Inkling 2 Mini 去审查版发布:拒答率从 100% 降到 0% — Top-Eye-8104 ·
- Inkling 2 Mini 去审查版 v2 发布:自我蒸馏后有用回答率从 52% 提至 79% — Turbulent-Sky5396 ·
- Inkling 2 Mini 推理模型 GGUF 量化版上线 Hugging Face — kalyan_kpl ·
- Thinking Machines 开源 Inkling-2-Mini 出现无审查 GGUF 版本 — AtomicChat · 2026-11-22
- 【源头】Inkling 2 Mini 去审查版发布:拒答率从 100% 降到 0% — Top-Eye-8104 · 2026-11-22
- 26.4B 无审查模型 Inkling 2 Mini 可在 12GB 笔记本本地跑 — udmrzn · 2026-11-22
- 【源头】Inkling 2 Mini 去审查版 v2 发布:自我蒸馏后有用回答率从 52% 提至 79% — Turbulent-Sky5396 · 2026-11-22
- 【源头】Inkling 2 Mini 推理模型 GGUF 量化版上线 Hugging Face — kalyan_kpl · 2026-11-23