端到端稀疏字典学习:让 SAE 只学对网络真正重要的特征
burny_tech · x · 2026-10-20
作者介绍 arXiv 论文《Identifying Functionally Important Features with End-to-End Sparse Dictionary Learning》。标准稀疏自编码器(SAE)重建网络内部激活,但可能学到的更多是数据集结构而非网络本身的计算结构。论文提出端到端(e2e)稀疏字典学习:以「插入 SAE 激活后模型与原模型输出分布的 KL 散度」为训练目标,保证学到的特征对网络功能确实重要。结果显示 e2e SAE 相比标准 SAE 是帕累托改进:解释更多网络性能、所需总特征数更少、每个样本同时激活的特征更少,且不损失可解释性。训练库与复现代码已开源。
所属事件:端到端稀疏字典学习让SAE聚焦网络重要特征(2 条相关)→
「研究」频道最新
- 4000万张人脸 foundation model 登柳叶刀：可预测癌症预后与生物学年龄 — EricTopol · 2026-10-20
- Cloudflare 推出新模型范式 clairic：无需预定义类别直接从输入提取数值 — ritakozlov · 2026-10-20
- GRPO 用于多轮智能体训练易崩溃，长文剖析优势估计稳定化方案 — burkov · 2026-10-20
- 上交大提出 MSAR 残差架构，iso-loss 训练效率提升 1.58 倍 — burny_tech · 2026-10-20
- 从记忆容量推导出 Transformer：外积存储容量约 2 倍键维度 — burny_tech · 2026-10-20
- UIUC 论文:仅更新 0.1% 参数即可复现 85% RL 训练收益 — burny_tech · 2026-10-20