训练时加噪声并要求价值观保持稳定,可提升对齐泛化
Sauers_ · x · 2026-11-15
一项研究发现:在训练过程中加入随机噪声,并明确要求模型在扰动下保持价值观稳定,能够显著改善对齐(alignment)的泛化能力。这为解决安全训练在分布外场景失效的问题提供了一个简单思路。
所属事件:训练加噪声并保持价值观稳定可提升对齐泛化(3 条相关)→
「安全」频道最新
- 曝 AI 公司一周内集体弃 Fireworks 转投 Baseten,安全响应引争议 — AccBalanced · 2026-11-15
- 观察:AI 公司大量人才愿大幅降薪进入政府安全机构 — AndyMasley · 2026-11-15
- 纽约 RAISE 法案生效:OpenAI、Anthropic 须 2027 年前注册并 72 小时上报事故 — dl_weekly · 2026-11-15
- 「DC游行呼吁AI条约」:安全派集会主张禁止递归自我改进 — jeremiecharris · 2026-11-15
- OpenAI 上线自动解验证码设置,swyx 调侃 UI 像 Solana 设计的 — mertdumenci · 2026-11-15
- AI 写的报道经 AP 卫报引用洗白,研究者批媒体失守信源核查 — Afinetheorem · 2026-11-15