COLM 新论文:仅凭权重数据解析 MLP 神经元在词表空间的作用方向
megamor2 · x · 2026-10-08
作者 Asaf Avrahamy 团队(含 Gur Yoav 等)在 COLM 2025 海报环节展示论文《Disentangling MLP Neuron Weights in Vocabulary Space》。
核心结论:不依赖任何激活数据,仅从模型权重本身即可提取出有意义的方向,用以解释各个 MLP 神经元在词表空间中的工作机制,为可解释性研究提供了一条纯权重视角的路径。
「研究」频道最新
- OpenAI 新结果证明 2005 年编辑距离嵌入下界最优,研究者借 AI 精简证明 — thegautamkamath · 2026-10-08
- 实验发现:更强模型写出的自动评测确实更靠谱 — danshipper · 2026-10-08
- 腾讯发布 WorkForge:可扩展合成可验证长程工作 Agent 训练环境 — teortaxesTex · 2026-10-08
- 掩码几何编码器 MGE：随机丢帧+自蒸馏提升 3D 基础模型鲁棒性 — zhenjun_zhao · 2026-10-08
- DensiTok：用流匹配补全未见视角的几何 token，即插即用增强 3DGS — zhenjun_zhao · 2026-10-08
- 水下 3D 重建新法：将平端口相机图像扭曲为针孔透视校正折射 — zhenjun_zhao · 2026-10-08