用 Opus 做权重手术:Qwen3.8-27B 拒答降低且能力零损失
FeydRowan · reddit · 2026-11-06
Reddit 用户 FeydRowan 展示了让前沿模型(Opus)驱动对开源模型 Qwen3.8-27B 做「权重空间编程」式编辑、降低拒答率的实验:
- 方法:低秩定向 abliteration 编辑,限定在中后层 L20–47(共 64 层),每层只沿单一方向、无需训练、可逆,全部编辑由 28 个小向量描述。
- 关键发现:拒答行为分散在大量神经元和注意力中,没有单一切除点;若对全部 64 层施加同样编辑,拒答几乎完全消除但模型被「额叶切除」(MMLU-Pro 73→9%,GSM8K 93→14%)。限定层带后能力无损:MMLU-Pro 74%、GSM8K 93%。
- 效果不均匀:9 类别测试中接受率从约 76% 到 10% 不等,整体约降 50%,且多数回应带有免责声明式敷衍。
- 防御启示:这类编辑可通过权重空间审计检测——拒答方向的「写入能量」会显著变负,行为探测看不出也能从权重本身发现;更稳的防御是签名权重哈希,作者建议开源权重都应附哈希。
编辑后的模型(GGUF)已发布在 Hugging Face,但未公开完整复现配方。
「模型」频道最新
- AI 写作屡赢文学奖项,为什么读起来还是让人烦 — cis_female · 2026-11-06
- METR 图表泄露 Anthropic 未发布 Model 4:能力指数达 178.6 — ResultBackground2450 · 2026-11-06
- 开源 Marin 535B-A23B 完成主预训练:18T tokens,下周放 checkpoint — dlwh · 2026-11-06
- Artificial Analysis 发布 Intelligence Index v5,新增 Progress Index — ArtificialAnlys · 2026-11-06
- Fastino 开源 GLiDE 决策模型家族,0.4B-27B 单次前向出决策 — HowDevelop · 2026-11-06
- 新模型 V0.5 开源上线:权重已发布 Hugging Face 并附技术报告 — rohanpaul_ai · 2026-11-06