用 SAE 流形替换层，探查 Qwen 续写如何变化
Sauers_ · x · 2026-07-29
这条帖展示了一个围绕 稀疏自编码器（SAE） 和 流形替换 的可解释性实验：把 Qwen 的某些层替换成流形表示，观察模型续写如何变化。
- 作者想表达的是：可解释的通用函数逼近器，可能帮助我们理解 LLM 内部表示。
- 配图和正文对比了原始输出与替换后的输出，说明中间表示被改写后，生成内容会发生明显变化。
- 另外还引用了一个关于样条与两层 ReLU 网络的例子，用来说明不同形式的函数逼近在“通用逼近”上有相通之处。
「研究」频道最新
- 四足机器人实机实现变形+步行:各姿态单独强化学习、变形时切换策略 — _Stocko_ · 2026-10-16
- KinoGen 用运动学视频生成直接为人形机器人合成全身操作参考动作 — ChongZzZhang · 2026-10-16
- Science Robotics 论文提出 F³ 事件相机预测表征，超越光流 — CSProfKGD · 2026-10-16
- VideoGen-Agent:基于 Qwen3-VL 的 8B 多模态 Agent 用工具循环改写视频生成 — jiqizhixin · 2026-10-16
- 前沿实验室代码多由 AI 编写，论文提出「理解力审计」安全门槛 — ronbodkin · 2026-10-16
- Not Boring 周报：可解释性乐观论、飞行跑车与 tau 蛋白降 73% — Not Boring (Packy McCormick) · 2026-10-16