字节研究：方向分解透视 Transformer 表征演化与可编辑性
ByteDance · hf · 2026-09-16
字节跳动团队将 Transformer 表征演化视为「函数几何」，把学习到的更新分解为平行与垂直分量。
- 发现：预训练模型中存在超出残差恒等路径的大量平行分量；分解可分别作用于注意力/MLP 更新与注意力 value 聚合两个空间。
- 定向编辑：value 空间的 exclude-self 平行操作远比残差空间和垂直方向操作更稳健，可在保留自身消息的同时缩放非自身聚合。
- 压缩诊断：垂直误差比平行误差更能区分不同压缩方法。
- 训练干预：从零预训练时抑制全聚合平行分量可降低验证损失并提升下游平均成绩，value 空间变体效果最强。代码已开源。
「研究」频道最新
- Cartesia 谈 TTS 评测之难:单一分数无法概括语音质量 — saranormous · 2026-09-16
- 新论文:发明者在创意空间中的定位与经济增长的含义 — danielrock · 2026-09-16
- Schmidhuber 回应「LLM 无法创新」论：只因没实现他的趣味理论 — SchmidhuberAI · 2026-09-16
- Google DeepMind 长文详解分片矩阵乘法：万卡 TPU 训练的通信理论 — zacharynado · 2026-09-16
- USC 新讲义:「谱视界」理论预测有限数据下模型何时反超,给出 AUC 闭式缩放律 — PTenigma · 2026-09-16
- 论文实测:工具仅仅可用就让学生模型答题率从 98.2% 跌到 63.5% — dair_ai · 2026-09-16