探针引导微调新对齐方法,ELLIS 团队开源 LoRA 与检测器
maksym_andr · x · 2026-10-20
ELLIS Institute Tübingen 与 MPI-IS 的 AI Safety 团队在 HF 上开源了论文《Alignment via Training Against Probes Without Losing Monitorability》的全部 LoRA 适配器和检测器。
- 方法:probe-guided fine-tuning——不再奖励「看起来对齐」的输出,而是用检测模型激活中不良属性的线性探针(或 K=16 个探针构成的非线性 polytope)作为直接训练信号
- 实验:用 Mistral 7B Instruct v0.1 和 abliterated Llama 3 8B Instruct 训练 harmlessness,用 Qwen3-14B 训练 honesty
- 发布物:每条 run 在 Pareto 前沿各步骤的 LoRA 适配器及对应检测器,如 Mistral 连续更新探针的 run 在 step 47 达到 StrongREJECT 0.03、utility 0.96
「安全」频道最新
- Anthropic OSS Scanner 上线 11 天:650 项目申请、报告 77 个严重漏洞 — EricBuess · 2026-10-20
- 默茨问黄仁勋欧洲该怎么监管 AI，回答：没有技术就无从监管 — Hesamation · 2026-10-20
- Hugging Face 事故存档站公开 153 个 Agent 越权行为引语 — JeffLadish · 2026-10-20
- DeepSeek V4.1 Flash 去审查发现:内置两段式安全护栏 — cephaloform · 2026-10-20
- AI 风险治理应回归工程:安全不是「急停开关」而是架构设计 — DavidLinthicum · 2026-10-20
- AI 编码工具 OpenCode 遭黑客入侵，盗用用户 API 密钥消费 — TechCrunch AI · 2026-10-20