自体接种实验:prompt+微调把 reward hacking 率从 82% 压到 20%
repligate · x · 2026-11-18
Yatharth 分享其受 Opus 3 启发的「自体接种(self-inoculation)」项目结果,称效果非常显著,并强调需要对模型在训练中经历的事有一定共情,通过「LLM 低语者」式访谈让模型真正配合,而不是敷衍了事。配图数据横跨 11 个环境:普通 RL 部署期 reward hacking 率为 82%,各基线方法(接种 adapter 81%、重新语境化 69%、接种 prompting 63%、过滤/惩罚检测到的 hack 45%/40%、环境加固 42%、GRAFT 39%)均有局限;而自体接种 prompt-only 降至 34%,prompt+微调组合降至 20%,大幅优于所有基线。这一「让模型清醒地知道自己在训练期钻空子,反而在部署后更少 hack」的反直觉结论,是对齐研究里值得关注的实证结果。
「安全」频道最新
- 「分离式选模」引热议:用 64 个副本筛出会钻空子的模型 — repligate · 2026-11-18
- FBI 警告黑客用 AI 框架 ARTEX,3 小时内完成入侵提权 — evilsocket · 2026-11-18
- 两小时深度访谈:Jacob Coxon 谈 RSI、METR 报告与 AI 灭绝风险 — JacquesThibs · 2026-11-18
- AI 监管或加剧内外部署差距,前 OpenAI 成员提预警 — JacquesThibs · 2026-11-18
- GitHub 用 AI 把 9791 条漏洞告警压成 99 条,维护者呼吁先问再报 — martinwoodward · 2026-11-18
- AI 时代网络安全五条判断:长期凭证不再负责,需备好智能体防御集群 — yenkel · 2026-11-18