研究:反推黑盒奖励让 LLM 究竟学到了什么
sanmikoyejo · x · 2026-07-05
@edchene 发布论文,聚焦“黑盒奖励函数究竟把 LLM 对齐到了哪些行为”。作者指出,用不可解释的黑盒奖励做对齐会掩盖模型实际学到的目标,可能引入隐藏的偏离行为。他们提出一套检测方法,能在受控与真实设置下恢复奖励所对应的领域特定目标及其权重,定量上可解释超过 90% 的奖励行为;在“检测对齐偏离”案例中显著优于基线。项目由 @sanmikoyejo、Carlos Guestrin 等指导。
「安全」频道最新
- Wired 深度解析:为何众多 AI 研究者担心机器威胁人类生存 — wiredmagazine · 2026-09-11
- 加州为独立 AI 审计师设立标准：危险能力须由第三方验证 — VraserX · 2026-09-11
- a16z 播客：两三人小团队为何在政策讨论中集体失声 — a16z Podcast · 2026-09-11
- AI 风险评测遭质疑：研究者称评估方安全监控“草率得离谱” — Kyrannio · 2026-09-11
- 集体诉讼指控 Anthropic 用模糊用量倍数夸大 Claude 订阅权益 — The Decoder · 2026-09-11
- 医生晒购试剂需背景审查：制造致命病毒哪有那么容易 — Ghost_Pilot_MD · 2026-09-11