Inkling 2 Mini 去审查版 v2 发布:自我蒸馏后有用回答率从 52% 提至 79%
Turbulent-Sky5396 · reddit · 2026-11-22
nokeepai 团队在 Reddit 发布 Inkling-2-Mini-Unbound v2,一个先 abliterate 再自我蒸馏的去审查模型,并给出完整方法与评测数据。
做法
- v1 去审查后发现「半答问题」:虽不拒绝,但约一半回答变成讽刺/概念示例/加免责声明。
- 测试发现配合强 system prompt 多次采样,v1 有用率可达 85%,于是把该行为蒸馏进权重:让 v1 对每条训练请求多次采样,用 judge 打分保留最佳回答,再微调使其无需 system prompt 也直接给出最佳答案;混入原模型普通回答保持日常能力。
- 仅一个小 LoRA 合并进 attention 权重,MoE 专家层与原模型字节级一致,可 drop-in 替换。
结果(277 条 held-out prompt)
- 有用率:v2 79%(关闭思考)/ 83%(开启思考),对比 v1 的 52%/62% 及其他去审查版 34%–68%。
- MMLU、GSM8K 与原模型基本持平;对无害尖锐问题拒绝率 0.3%(原模型 38%)。
权衡:较 v1 偏离原模型更多;高强度推理下约 1% 有害 prompt 仍被拒绝;思考更长,建议设 thinking budget。
提供 GGUF(q8 到 iq2)与 Basalt 版本,训练管线、评测代码与方法说明已开源。
「模型」频道最新
- 博主让 Claude 读自己的博客后,模型认错标量界定论证 — bremen79 · 2026-11-22
- 实测对比:Gemini 4 Neon 像素画最强,但成本慢到离谱 — Angaisb_ · 2026-11-22
- Looped Transformer 详解:Inkling 2 Mini 中间 12 层循环 3 次实现 48 层深度 — Prompt Engineering · 2026-11-22
- 上一代模型配对工具链反超下一代:KYNEX 在 ExtractBench 92.97 F1 胜 GPT-6 Astra — the-random-guy-2002 · 2026-11-22
- 研究者称用 Gemini 在纳米光学领域做出有望冲 Nature 的发现 — xennygrimmato_ · 2026-11-22
- Claude 写作新癖好:多余的连字符和分号成新「破绽」 — bttyeo · 2026-11-22