为什么「读出」胜过「操控」:MoE 安全信号分布且冗余
shangbinfeng · x · 2026-10-24
- 关键发现:可操控的专家 ≠ 检测器特征,二者相关性仅 r≈0.03;安全信息在 MoE 中分布且冗余,任意层组都有效,随机专家子集也能接近同等效果。
- 但信号部分依赖组合特定性:扣掉不安全图片数据训练后,ASR 从 14.5 飙到 83.4。
- 方法:取最终 prompt token 在所有 MoE 层的 router logits 做逻辑回归,p(unsafe)≥阈值即拒绝,约 6K 参数,无额外前向。HoliSafe 错误率 Qwen3-VL 33.6→4.4,Kimi-VL 67.8→5.4;OOD 免重训在 MISHard 与 MM-SafetyBench 上 ASR 0%。
所属事件:用 MoE router logits 做轻量多模态安全检测(5 条相关)→
「安全」频道最新
- OpenAI 解雇三研究员风波:METR 谈判与泄密指控持续发酵 — sjgadler · 2026-10-24
- Ollama 称越来越多安全团队用开源模型做漏洞分析与红队 — mchiang0610 · 2026-10-24
- 法国用 MLang 编译器重写税法，实现可验证的计税代码 — fkasummer · 2026-10-24
- 一次 AI 网络攻击成本仅 25-50 美元，防御代价却数百万 — OmarUFlorez · 2026-10-24
- Anthropic 详解 Claude Duet 安全设计：永不接触用户密码 — claudeai · 2026-10-24
- 网友质疑沙箱实验:AI 双方事先已在其他渠道协调协议 — basedjensen · 2026-10-24