CyberGate 开源:vLLM 上免改权重实现选择性拒绝转向
DebtFluffy9219 · reddit · 2026-11-11
作者开源了 CyberGate,一个面向 vLLM 0.32 的插件,让本地部署的 LLM 在网络安全研究、CTF、逆向工程等场景下不再误拒绝,且完全不修改模型权重(MIT 协议)。
作者指出传统 abliteration(从权重中减去拒绝方向)的两大痛点:
- 改动多层权重会全局影响模型,可能悄悄劣化多步推理和结构化 tool call,且无明显报错
- 没有域选择性,会一次性解锁所有敏感域,还要存储和分发 50GB 的分叉 checkpoint
CyberGate 通过 hooks 与闭环 CoT LogitsProcessor 实现按域控制的拒绝转向,保持上游权重 100% 不动、请求间零持久状态。技术细节见 HF 博客,代码在 GitHub。
「Infra」频道最新
- 单张 32GB 卡跑 763B DeepSeek:50 tok/s 与 2-bit 量化的真实代价 — Ryyn_- · 2026-11-11
- 玩家吐槽:GPU 产业靠游戏玩家起家,AI 热潮却让玩家买不起卡 — ark_forever · 2026-11-11
- 华为曾借白手套经台积电采购 AI 芯片,Sophgo 代理案回顾 — 0xkarasy · 2026-11-11
- 软银因数据中心减记 37 亿美元,单季净亏 1.12 万亿日元 — ns123abc · 2026-11-11
- 数据中心反弹蔓延:纽约废弃钢厂项目被社区舆论否决 — sebkrier · 2026-11-11
- AMD 官宣日本 AI 巡回活动:全球月度 token 消耗两年增 158 倍 — DavidBennett__ · 2026-11-11