研究者认为多义性可能蕴含有效结构,值得专门研究
menhguin · x · 2026-10-16
一场关于可解释性中 superposition 与多义性(polysemanticity) 的技术讨论。
- 作者认为多义性并非无用噪音:「它持续有效」这一事实本身说明其中存在值得研究的有效结构。
- 提出一个启发式判断:模型越强、训练越充分,其参数内的「功能连接」越高效——类比人脑,聪明人能在更多领域做出比随机更有用的跨概念联想,即「更多义」。
- 引用观点:专家化(experts/MoE)可视为 superposition 的反架构——superposition 想把无关内容打包在一起,而高度专业化的专家恰好阻止这一点。
- 作者也承认这只是人脑类比,LLM 参数规模与人脑并不可比,细节仍有待深入。
所属事件:Anthropic 研究员逐条反驳「神经元被低估」论文的叠加质疑(11 条相关)→
「研究」频道最新
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16
- Goodfire Cammarata 长文:神经网络本就干净,可解释性前景远超预期 — BorisMPower · 2026-10-16
- 拿 Jev 等「决策模型」跑电车难题:它选择不拉杆以保住自己的服务器 — dbreunig · 2026-10-16
- OpenAI 推出 Rosalind Academic 计划,美国高校实验室可获赞助使用 — OpenAI · 2026-10-16
- 从激活图谱到今日特征可视化:神经元可解释性肉眼可见地跃升 — MajmudarAdam · 2026-10-16
- 可解释性研究者激辩：模型可达 99% 可解释的说法靠不靠谱 — livgorton · 2026-10-16