SAE特征可语言化随层数增强
Sauers_ · x · 2026-07-14
这条转推讨论了 jlens 如何用于描述 SAE 特征，并指出它大体上是在把“运动神经元”之类的高相关特征用语言说出来。
作者通过比较 jlens 生成的特征描述 与 Neuronpedia 提供的标签 的一致性，观察到这种“可语言化”的能力会随着层数增加而提升；在 Qwen3-4b 中，大约在 第 22 层附近出现明显变化。原推还提到，在原始 Jacobian 结果里也能看到类似趋势：后面的 Jacobian 增益更高。
「研究」频道最新
- GameWorld 获 ECCV 2026 多模态数字代理研讨会最佳论文亚军 — MikeShou1 · 2026-09-11
- 3D ResNet 论文八年突破 3000 引用，Kinetics 数据集成里程碑 — HirokatuKataoka · 2026-09-11
- 把数据调度变成优化的一部分：样本选择与排序影响 LLM 训练 — Puzzleheaded_Box2842 · 2026-09-11
- Jeff Heaton《神经网络数学导论》开放免费完整下载 — blaizedsouza · 2026-09-11
- 数学家 Daniel Litt 上线问题库,15 题仅 1 题被解,用来追踪 AI 解题进度 — littmath · 2026-09-11
- AI 智能体协作优化 secp256k1 量子电路,挑战打破 ECDSA — StefanoGogioso · 2026-09-11