Kelly 目标直接用于 RL 会毁掉神经网络，CRRA 才是实用解
rosstaylor90 · x · 2026-10-27
一位 RL 从业者分享了目标函数选择的实践经验：
- 直接用 Kelly 目标做 RL 会出大问题：一旦训练中经历「破产」（ruin），对数效用下 advantage 变为负无穷，优化过程会直接摧毁神经网络——堪称「终极末日算法」：它太讨厌破产，以至于宁可毁掉自己也不让它再发生。
- 实践中的替代方案：改用 CRRA（常数相对风险厌恶）形式，把风险厌恶系数调到比风险中性更保守、但不达到 Kelly 的极端程度。这样 RL 既会规避毁灭性风险，又不会为了逃避风险而中断训练。
所属事件:研究者称 RL 目标用 CRRA 而非 Kelly 可助对齐(3 条相关)→
「Fun」频道最新
- 每次人类发现 P=NP，宇宙就被重置一次 — rakyll · 2026-10-28
- 名场面:有人用 ChatGPT 写「AI 正在毁灭人类创造力」的文章 — _jaydeepkarale · 2026-10-28
- 博主用 Genie 4 与「刚毕业的自己」跨时空对话 — holynski_ · 2026-10-28
- 天冷就 FLOP-maxxing:安全研究员把 GPU 跑满当电暖器用 — lauriewired · 2026-10-28
- Andrew Critch 公开个人置信度:P≠NP 仅 80%,黎曼假设 60% — AndrewCritchPhD · 2026-10-28
- 网友恶搞 Claude Max 概念图：月费 500 美元的假订阅页走红 — iruletheworldmo · 2026-10-28