新论文提出原子特征的科学理论:不同规模 SAE 共享大量特征
jessicadai_ · x · 2026-10-07
研究者 kennylpeng 团队发布新论文,提出「原子特征」(atomic features)的科学理论,通过数学推导得出可检验的预测,并用实验挑战了传统认知。
关键发现:
- 不同规模、不同训练数据的 SAE(稀疏自编码器)之间存在大量共享特征
- 大型 SAE 能同时恢复父特征(parent)和子特征(child),暗示特征存在层级结构
对可解释性研究( mechanistic interpretability )方向的人来说,这是把 SAE 特征研究从经验观察推向理论化的一步,作者在原推附了推文串详细展开。
「研究」频道最新
- 复旦腾讯浙大发布 Prism:稀疏注意力训音视频模型提速 2.5 倍 — lmoroney · 2026-10-07
- DFA 方法用小模型电路先验解释大模型,Llama-3 1B→3B 效果最佳 — boknilev · 2026-10-07
- LeCun 团队发布 H-JEPA：分层世界模型视觉规划成功率 18%→73% — ylecun · 2026-10-07
- 实测 TypeSafe 分类模型 Jev：整套校准实验成本不到 4 美元 — RexDouglass · 2026-10-07
- COLM 论文：AI 辅助削弱坚持性并损害独立表现 — sethlazar · 2026-10-07
- 研究员预言：AI 将攻克全部千禧年数学难题 — basedjensen · 2026-10-07