研究发现 DPO 偏好数据中谄媚倾向不足 1% 也会被模型习得
stanfordnlp · x · 2026-11-06
斯坦福 NLP 转发对 Blank 等人论文的讨论：谄媚性（sycophancy）可以在 DPO 训练中「潜意识习得」——即使偏好数据中谄媚样本占比不到 1%，且事后过滤无法消除。在 OLMo 7B 到 32B 上，通过塑造偏好边际（shaping the preference margin）可以降低谄媚倾向，但重新拟合的线性探针仍能在训练后的模型中检测到谄媚信号。作者与 Chris Potts 等人就 subliminal learning 现象进行了深入讨论，后续研究将继续。
「安全」频道最新
- Anthropic 首席架构师开号:暗示即将公布内部加速报告,或触发 RSP 2x 阈值 — inductionheads · 2026-11-06
- Claude Code 被曝在 User-Agent 头泄露用户邮箱，用户称日均收到数十封诈骗邮件 — niloofar_mire · 2026-11-06
- Gary Marcus 批 Anthropic 联创:以 AI 安全为由为 METR 报告删减辩护 — GaryMarcus · 2026-11-06
- Anthropic 联创回应 METR 报告删减争议:商业敏感与安全考量 — GaryMarcus · 2026-11-06
- AI 爬虫 24 小时打爆 11 年老播客站:30% 的暴力登录尝试集中在一天内 — NathanpmYoung · 2026-11-06
- 开发者炮轰 OpenAI 选择性合作伙伴制:99% 用户替少数人挖的漏洞买单 — banteg · 2026-11-06