研究者称SAE与transcoder或误导对网络结构的理解

banburismus对SAE(稀疏自编码器)的可解释性结果提出质疑,认为这些结果并不意味着SAE特征应与神经元一一对应:高度稀疏的残差SAE因稀疏性约束,天然倾向于特定解读,可能误读网络结构。他进一步指出,transcoder通常找到神经元对齐或少数神经元组合的特征,但同样会误导对网络的理解。

2026-10-18 ~ 2026-10-18 · 2 条相关

• 研究者质疑 SAE 特征对齐:稀疏瓶颈让 SAE 误读网络结构 — banburismus_ · 2026-10-18
• 续谈 SAE 与 transcoder:多数时候也在误导网络结构理解 — banburismus_ · 2026-10-18