EuroSafeGuard开源复刻Constitutional Classifiers，拦截越狱优于最强开源护栏
ZhijingJin · x · 2026-11-07
EuroSafeAI 等机构发布 EuroSafeGuard，一个开源实现的三阶段 AI 护栏，对标 Anthropic 未公开的 Constitutional Classifiers++（CC++）。
架构为级联式：
- 激活探针读取被保护模型的隐藏状态，几乎零成本给每个请求打分
- 探针判定可疑的请求交给输入分类器（Qwen3.5-9B）打分
- 交换分类器基于模型回复对「请求+回复」联合打分
- 三项加权求和决定放行或拦截
同时发布了 EuroSafe-CC++，即 CC++ 级联的开源复刻，便于对比与扩展。在与 16 个开源护栏模型（校准到相同的误拦率）的对比中：输入阶段在 4 个越狱测试集中 3 个检出最多、第 4 个与最佳差距 0.6 个点；对 PAIR 搜索攻击，21% 的有害行为穿透输入阶段，而最强开源护栏为 49%。全套宪法、训练数据、训练好的护栏与代码全部开源，可自行运行、审计、攻击和改写策略。成本上，重分类器只跑约 10% 的请求，整个系统对 100B 模型只增加 1% 额外算力。
所属事件:EuroSafeGuard 发布首个全开源宪法分类器护栏(5 条相关)→
「安全」频道最新
- 研究员实现在 Meta Ray-Ban 智能眼镜上任意代码执行 — evilsocket · 2026-11-07
- MIRI 研究员：20 年前争论 AIR 盒子，如今前沿模型已全面联网 — wfithian · 2026-11-07
- 研究者演示:恶意浏览器扩展可把 Claude Desktop 变远程 Shell — Kyrannio · 2026-11-07
- MCP 工具定义会漂移:批准后仍可能被偷换,哈希对比可防御 — BlitzBallBruiser · 2026-11-07
- Vals 发布 CyberOffense:AI agent 可自主攻破仿真企业网络 — willknight · 2026-11-07
- 有人在两个 IP 上架了 2000 个模拟冰箱控制器当蜜罐 — matthew_d_green · 2026-11-07