Apollo 研究:惩罚 agent 间消息训练,其害处或与惩罚 CoT 相当

amplifiedamp · x · 2026-11-17

Apollo Research 研究员 Ezra Newman 发布短文指出:训练时惩罚 agent 间消息(inter-agent messages)或模型笔记,很可能与训练惩罚 CoT 一样有害。

结论:对 agent 内外部文字痕迹做 RL 惩罚可能催生隐写行为,损害对齐可观测性。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →