训练时加随机噪声并要求价值观保持稳定,可提升对齐泛化
Sauers_ · x · 2026-11-15
作者分享一篇论文的思路:在训练过程中加入随机噪声,并要求模型在扰动下保持价值观稳定,这一简单技巧能改善对齐(alignment)的泛化能力。原帖称其为「一个奇怪的技巧」——只需在训练时告知模型其价值观应在扰动下保持不变。
「安全」频道最新
- 研究者绘制 15 天舆论战图谱:2644 条报道、79 个被撤回的谎言与 17/24 关联 — kevinnbass · 2026-11-15
- 用 Claude 四段提示词免费向 190 个数据贩子网站发起删除请求 — rubenhassid · 2026-11-15
- 图灵奖得主 Judea Pearl:AI 控制的最佳答案是 Hinton 的「母性本能」 — arieljalali · 2026-11-15
- Yacine 警告:AI 圈冒充账号近 3 个月手段升级速度惊人 — yacinelearning · 2026-11-15
- 个性化定价无赢家：经济学家质疑生产者剩余叙事 — moultano · 2026-11-15
- 研究者反对立即 AI 暂停：绝对主义政策难以退出，且稳定加速本身就是反 foom 证据 — NathanpmYoung · 2026-11-15