用 agent 花算力审读神经元:多义性未必阻碍可解释性

builderjaydub · x · 2026-10-17

作者分享一个可解释性实验:某个神经元并非干净的单义示例,但它的主要功能确实是识别与 Colorado 相关的概念。作者由此提出观点:多义性(polysemanticity)不必然是解释神经元的障碍——只要愿意投入算力、用 agent 去逐条审读激活样本,就能解码出有用信息。

细节:一段包含「Tornado」(Python 库)的代码片段会强烈触发该神经元(超过最大激活值的 30%),而其他许多含 Tornado 的代码片段只引起中等激活、并不突出——说明 agent 巡检激活样本能区分真正的语义核心与边缘共现。完整报告见原帖链接。