可解释性圈内争论:稀疏自编码器 SAE 是否正在过时
neuralavb 发帖提出「SAE 正在失去相关性」,理由包括学到的概念常与人类关注点不对齐等,引发可解释性研究者热议。livgorton 反驳称 SAE 被降级是因研究时间线紧迫,而非神经元多义性问题已解决;thebasepoint 等人则认为 residual stream SAE 仍是绘制模型表征空间地图的好方法,但安全场景下的读取用 metamodel 更合适。
2026-10-27 ~ 2026-10-27 · 4 条相关
- 业内争论:稀疏自编码器 SAE 是否正在过时 — neural_avb · 2026-10-27
- SAE 降级真因是时间线紧迫,而非神经元多义性已被解决 — livgorton · 2026-10-27
- 续论 SAE 之争:表征空间地图仍有用,安全读取更宜用 metamodel — thebasepoint · 2026-10-27
- 研究者讨论:SAE 仍是模型表示空间绘制的最佳工具 — thebasepoint · 2026-10-27