研究者称 RL 目标用 CRRA 而非 Kelly 可助对齐

前 OpenAI/GDM 研究员 Ross Taylor 分享反直觉的 RL 实践经验：若直接用 Kelly 准则作为强化学习目标函数，智能体一旦经历「破产/毁灭」事件，对数效用下优势值变为负无穷，会毁掉整个神经网络的优化过程。因此他们改用 CRRA 效用，让智能体具备风险厌恶、真正「厌恶毁灭」，并认为在 RL 目标中引入长期目标与风险厌恶，可能对 AI 对齐具有重要意义。

2026-10-27 ~ 2026-10-27 · 3 条相关

• 用 Kelly 目标做 RL 会「怕破产怕到毁灭自己」：终极末日算法 — rosstaylor90 · 2026-10-27
• Kelly 目标直接用于 RL 会毁掉神经网络，CRRA 才是实用解 — rosstaylor90 · 2026-10-27
• Rossc Taylor：用 CRRA 而非 Kelly 公式做 RL，让智能体「厌恶毁灭」以助对齐 — rosstaylor90 · 2026-10-27