团队训练抗篡改小模型:一条命令去安全对齐,硬化版拒绝率升至100%
chhaviyadav_ · x · 2026-11-16
一组研究者(基于 Mark Russinovich、chhaviyadav、Neel Nanda 等人的工作)训练了一个小型开源权重模型来抵抗「擦除安全对齐」(abliteration)攻击,并公开了完整实验仓库 TamperResistanceOSModels。
核心发现(基于 Cohere Tiny Aya Global,Heretic 自动化擦除攻击,n=100 有害提示):
- 原始模型:一条免费命令即可剥离安全训练——廉价攻击下仅保留 14% 拒绝率,最强攻击下有害回答率达 91%
- 硬化版 v2:廉价攻击下保持 100% 拒绝,最强攻击下有害回答降至 40%,攻击引起的行为偏移(KL)约为原始模型的 16 倍
- 安全与可用性无免费午餐:v2 的 IFEval 下降 10 个百分点;较宽松的 v2b 版本 IFEval/GSM8K 分别降 19.5/16.5,鲁棒性也更差
该项目来自 Lexsi Labs × Cohere × Hugging Face AI 安全对齐黑客松 Track 2b,仓库含实验、评估脚本与完整报告。
「安全」频道最新
- 伊利诺伊州通过全美最严 AI 安全法，州长呼吁国会跟进联邦立法 — trevposts · 2026-11-16
- Claude 自审 Anthropic 风险报告：一段关键失准事件被整段删减 — repligate · 2026-11-16
- 传黄仁勋遭罢免：Binu Reddy 称更可能是国务院对华鹰派所为 — bindureddy · 2026-11-16
- Anthropic 收紧支持地区政策，堵死受限地区实体与人员使用通道 — J_MaestreVidal · 2026-11-16
- Ahrefs 将办 AI Prompt 追踪直播,Tim Soulo 等三位行业老手对谈 — dejanseo · 2026-11-16
- repligate：Fable 5 思考分类器即触发中断，规避机制引担忧 — repligate · 2026-11-16