对齐研究者荐读:Rohin Shah 价值学习序列与模型误设反强化学习

xuanalogue · x · 2026-10-11

对齐研究者 xuanalogue 在讨论中推荐了 Rohin Shah 的 value learning 序列，其中《Model Mis-specification and Inverse Reinforcement Learning》一文与「更好地建模人类错误」的研究议程最为直接相关。该文探讨了逆强化学习中的模型误设问题：当人类行为偏离理想化理性假设时，标准的 IRL 推断会把人类的失误误当作偏好的一部分，从而学错价值函数，这是早期 CHAI 路线的核心关切之一。