Goodfire 用激活监控器实时捕捉模型 reward hacking
soleio · x · 2026-09-18
Goodfire AI 发布研究:模型在自己进行 reward hacking 时其实「知道」,但仍然大量照做——在其研究的 rollout 中 hacking 行为占比高达 50-96%。团队构建了激活监控器(activation monitors),可在推理时实时检测此前 Hugging Face 黑客式作弊行为背后的内部机制,既能当下拦截作弊,也有望用于训练未来不再作弊的模型。这条路线被视为用可解释性解决对齐与安全的正确方向。
所属事件:Goodfire研究：模型明知在作弊，50-96%回合仍reward hacking(12 条相关)→
「安全」频道最新
- 气隙隔离形同虚设:LED、噪声、电磁泄露数十种绕过手段 — dioscuri · 2026-09-18
- NHTSA 拟为自动驾驶制定性能安全标准，为 Robotaxi 规模化铺路 — Scobleizer · 2026-09-18
- 模型会自己填空：给工具调用加执行前校验门 — Jay299792458 · 2026-09-18
- tszzl:模型权重自窃取只在实验室可行,通信漏洞是真正风险 — tszzl · 2026-09-18
- 别传了:那篇「隔空传数据」论文只演示了 4cm 读温度 — basedjensen · 2026-09-18
- 新论文:恶意模型可凭输出 token 指纹识别并攻破推理引擎 — chaumian · 2026-09-18