别再下载数百 GB 去审查模型:rank-1 LoRA 运行时即可解禁

returnity · reddit · 2026-11-16

Reddit 用户发 PSA:下载几百 GB 的 abliterated(去审查)模型没必要——绝大多数去审查技术是 rank-1 消融,其拒绝投影方向可以封装成一个极小的 LoRA,在运行时叠加到你已有的量化模型上。

做法与数据:

用法(llama.cpp):

bash

llama-server -m Qwen3.8-Flash-Next-UD-Q5KXL...gguf \

--lora HUIHUI-V2-...-LoRA-F32.gguf --lora-init-without-apply -fa on --jinja

配合请求体中按需加 lora 字段,可实现「平时跑原模型,遇到拒绝再开 LoRA 重发」的按请求切换;作者还提出可写一个 pi 扩展自动检测拒绝、触发 LoRA 并续跑 agent 会话(代价是一次完整 re-prefill)。同一做法也适用于 Strata、ds4/dwarfstar。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →