用 LoRA 替代全量消融:weightless 项目以向量转向低成本去除模型拒答

vhthc · reddit · 2026-10-17

Reddit 用户讨论一种比 Heretic 更便宜的「去审查」思路:与其对大模型做昂贵的全量权重消融(abliteration),不如像 Krea2 文本编码器的做法那样,用 LoRA 实现拒答抑制,加载/卸载即可、模型本体保持不动。

作者介绍了 msuiche/weightless 项目(GitHub 81 星)——「无需改权重的消融」,用投影式拒答转向(projective refusal steering)以 GLP 向量实现,目前主要面向 cyber 场景降低拒答。作者询问是否有人拿它与 Heretic 或官方 cyber 版模型(如 GLM 5.3 Flash)做过对比实验,以及各自的优劣。