tszzl:神经网络生来可读,机械可解释性正迎来科学革命

basedjensen · x · 2026-10-17

tszzl 提出观点：神经网络中的一切在某种意义上都是「为下游读者而构建的」——如果我们能学会像读者一样去看，读懂它们可能比想象中容易，并称这是正在发生的科学革命，而不仅仅是「神经元可读」。basedjensen 附议称自己一直认为对网络做插桩观测应该不难，质疑 mech interp 社区「你没法 instrument」的先验从何而来。

这条争论触及机械可解释性方法论的核心分歧：网络内部表征究竟是刻意为可读性设计的，还是只能靠逆向工程艰难破译。