端到端稀疏字典学习:让 SAE 只学对网络真正重要的特征
burny_tech · x · 2026-10-20
Dan Braun、Jordan Taylor、Nicholas Goldowsky-Dill、Lee Sharkey 等人的 arXiv 论文(2405.12241)。标准稀疏自编码器(SAE)通过重建网络内部激活来识别特征,但可能学到的更多是数据集结构而非网络本身的计算结构,因此难以确信找到的方向对网络功能真正重要。论文提出端到端(e2e)稀疏字典学习:以「插入 SAE 激活后模型输出分布与原模型的 KL 散度」为损失,确保特征功能重要。相比标准 SAE,e2e SAE 是帕累托改进:解释更多网络性能、总特征数更少、每样本同时激活特征更少,可解释性无损失。论文还探索了两种特征在几何与质性上的差异,并开源了训练库与分析复现代码。
所属事件:端到端稀疏字典学习让SAE聚焦网络重要特征(2 条相关)→
「研究」频道最新
- 菲尔兹奖得主 Borcherds：AI 解 Navier-Stokes 比我预期早十年 — lpachter · 2026-10-20
- 3 页纸证明无 Siegel 零点，数论难题现惊人简洁解法 — soumitrashukla9 · 2026-10-20
- 万个 OpenAI agent 协作解千禧年难题，新基准测 AI 队友能力 — james_y_zou · 2026-10-20
- 对数收益的正解:机会分布在多个数量级成本上,而非单纯有界 — DimitrisPapail · 2026-10-20
- 无需难度标注：Stackelberg 框架自动涌现随训练推进的课程 — shangbinfeng · 2026-10-20
- Stackelberg Alignment：把 LLM 分歧变成多模型协同训练信号 — shangbinfeng · 2026-10-20