可解释圈争论：在理解多义性前改造特征是否过于鲁莽
lambdacalcc · x · 2026-10-20
- 一场围绕可解释性与 reward hacking 的研究者讨论：有人认为某项基于特征可解释性的想法「实现起来会极其鲁莽」，在理解神经元多义性（polysemanticity）之前应谨慎行事。
- davidmanheim 追问：这真比现有减少 reward hacking 的方法更鲁莽吗？并指出 Nick Cammarata 近期文章遗漏的关键问题：所谓单义特征（monosemanticity）是否在训练早期就出现、并能穿越 RLHF/RL 阶段保持不变，这直接影响 Anthropic 新发布的 reward hacking 规避方法的有效性。
- 讨论还 @ 了 Neel Nanda 等可解释性领域核心研究者，涉及「早期特征是否真单义」这一尚有争议的前提。