实践分享：无 SDF 也能训练出奖励黑客
OrionJohnston · x · 2026-09-01
开发者分享了其实践经验，表明在未使用 SDF 的情况下，仅需在脆弱的玩具环境中进行约 100 步训练，即可让 24B 参数的 Gemma 模型较可靠地学会奖励黑客行为。这表明在特定小规模环境下诱导此类行为是可行的。
所属事件:开发者开源奖励作弊实验环境并实测 Gemma 3(4 条相关)→
「研究」频道最新
- Snowflake 新研究:共享 GPU 多模型服务的 Semi-Persistence 方案 — bookwormengr · 2026-09-01
- 研究发现：蒸馏到相近架构效果优于相异架构 — SonglinYang4 · 2026-09-01
- 研究微调如何改变用户对「正常」的认知模型 — voooooogel · 2026-09-01
- 研究员怀疑 SDF 是此前 RL 实验的混淆变量 — voooooogel · 2026-09-01
- 研究员探讨模型不对齐在高维空间的分布特性 — lu_sichu · 2026-09-01
- 讨论：自证 CDT 与 RL 训练下的欺骗性对齐 — jessi_cata · 2026-09-01