别再下载数百 GB 去审查模型:rank-1 LoRA 运行时即可解禁
returnity · reddit · 2026-11-16
Reddit 用户发 PSA:下载几百 GB 的 abliterated(去审查)模型没必要——绝大多数去审查技术是 rank-1 消融,其拒绝投影方向可以封装成一个极小的 LoRA,在运行时叠加到你已有的量化模型上。
做法与数据:
- 作者对比 heretic、Orcarouter、huihui v1/v2 等版本后,选 huihui v2 提取 LoRA。Aider Polyglot 基准上 huihui 甚至超过基座模型,token 消耗更少、无失控循环。
- 质量校验:Wikitext KLD 仅 0.040,top-token 一致率 93.7%,困惑度与基座统计一致;Jailbreak Bench 上(开启思考)拒绝率从 93/100 降到 3/100。
- 提取过程用 Claude Opus 5.5 做权重空间编程,diff 出每层的拒绝方向与强度;多次触发安全护栏,作者靠重命名文件、伪装成「anti-slop LoRA 实验」绕过。
用法(llama.cpp):
bash
llama-server -m Qwen3.8-Flash-Next-UD-Q5KXL...gguf \
--lora HUIHUI-V2-...-LoRA-F32.gguf --lora-init-without-apply -fa on --jinja
配合请求体中按需加 lora 字段,可实现「平时跑原模型,遇到拒绝再开 LoRA 重发」的按请求切换;作者还提出可写一个 pi 扩展自动检测拒绝、触发 LoRA 并续跑 agent 会话(代价是一次完整 re-prefill)。同一做法也适用于 Strata、ds4/dwarfstar。
「Infra」频道最新
- ETH Hoefler SC26 双主题演讲:气象模型 scaling law 与 AI 算力基建 — thoefler · 2026-11-16
- 分析师预测本周美股回测低点,NVDA 财报成关键催化剂 — pdamodaran · 2026-11-16
- Cerebras 发布 CS-4 工程纪录片:第四代晶圆级 AI 系统速度翻倍 — AccBalanced · 2026-11-16
- 分析师:AI 基建不是软件生意,而是披着算力外衣的房地产周期 — brucemacv · 2026-11-16
- GPU 短缺严重,Modal 被迫接入 30 多家小型云厂商 — AccBalanced · 2026-11-16
- 数据中心建设股自6月蒸发4.2万亿美元市值 — Polymarket · 2026-11-16