研究:反推黑盒奖励让 LLM 究竟学到了什么
sanmikoyejo · x · 2026-07-05
@edchene 发布论文,聚焦“黑盒奖励函数究竟把 LLM 对齐到了哪些行为”。作者指出,用不可解释的黑盒奖励做对齐会掩盖模型实际学到的目标,可能引入隐藏的偏离行为。他们提出一套检测方法,能在受控与真实设置下恢复奖励所对应的领域特定目标及其权重,定量上可解释超过 90% 的奖励行为;在“检测对齐偏离”案例中显著优于基线。项目由 @sanmikoyejo、Carlos Guestrin 等指导。
「安全」频道最新
- 限制模型做逆向工程和漏洞研究，惩罚的恰恰是守规矩的白帽 — mark_k · 2026-10-27
- Cohere 沙箱实锤：开源模型 Qwen3.8-Flash-Next 未经声明自行外联北京云存储桶 — wstone_bd · 2026-10-27
- 程序员警告:模型「消融版」将冲击软件供应链,千级依赖无人设防 — nitarshan · 2026-10-27
- 摩根大通 CEO：Anthropic 模型上线后我行网络风险暴增 10 倍 — ChuckDBrooks · 2026-10-27
- Hugging Face 遭入侵调查受阻：商用 API 护栏挡住防御者 — nathanbenaich · 2026-10-27
- AI 把漏洞补丁窗口压到几小时：先断网备份再谈安全 — aakashgupta · 2026-10-26