研究解析 Transformer 残差流：预测如何逐步'定向聚焦'到最终结果
Timur Mudarisov · hf · 2026-10-01
- 方法：将中间残差状态与自身最终状态及来自其他上下文的最终状态经验库对比，考察表示如何逐步特异化到最终输出。
- 发现：跨六个预训练模型，'自身终点'在较浅层就优于平均替代项，但许多单独终点仍更接近；竞争集合随深度收缩，但成员在变化，幸存终点彼此未必更相似。
- 几何解释：方向对齐与终点排名可以改善，而到最终状态的欧氏距离几乎不变。作者建立高维模型分离范数、对齐与终点几何的作用，并证明直线收敛路径不会引入新竞争者，观测结果即是对直线收敛的偏离。
- 额外发现：低排名输出 token 的终点在余弦距离上更远，把残差几何与输出组织联系起来；解释了为何距离、竞争者数量与终点集中度给出不同的观察视角。
「研究」频道最新
- 微软开源 MarS:用 2M~1B 参数模型模拟金融市场行为 — mohamedmansour · 2026-10-01
- 从读到写:合成基因组学三大路线解析重构、重编码与最小化 — melnykowycz · 2026-10-01
- TokShop 第二届 Tokenization Workshop 将于 COLM 2026 举办,征稿进行中 — yuvalpi · 2026-10-01
- OASIS 用已验证轨迹修复自蒸馏缩放失效,8B 模型 AIME 提升 3 分以上 — Md. Ismail Hossain · 2026-10-01
- ATLAS 训练目标保住潜变量几何关系,显著提升世界模型规划成功率 — Ke Fang · 2026-10-01
- DyRAD 实现动态驾驶场景雷达新视角合成,检出率 90.7% 远超基线 26.9% — Technion · 2026-10-01