DiT 研究发现模板 token 充当语义寄存器并可剪 20% FLOPs
RTP-LLM · hf · 2026-07-22
扩散 Transformer 里，模板 token 其实在当“语义寄存器”
这篇研究用一个因果可解释框架分析文生图扩散 Transformer（DiT）在去噪过程中的内部计算，方法上结合了注意力分解和跨 token span、head、layer 的定向干预。
- 作者把 token 分成 prompt 内容 token 和 结构模板 token 两类，发现模板 token 在编码器输出阶段几乎不携带 prompt 专属信息。
- 但它们随后会变成最重要的 image-to-text 注意力汇聚点，并在因果上维持 DiT 内部的对象身份，像一个隐式的 语义寄存器。
- 论文认为，语义并不是从 prompt token 直接传给模板 token，而是先注入到图像 latent，再被模板 token 读回去。
- 基于这一观察，作者提出了一个 无需训练的剪枝规则：那些最强烈关注 prompt token 的 heads 其实是可裁剪的。
- 剪掉这些 heads 后，可减少 20% attention FLOPs，而 GenEval 只下降 1.4 分。
- 论文还进一步刻画了不同层和不同 head 的分工：把语义路由和视觉合成分开，并描述了从身份形成、传播到细化的计算流程。
「多模态」频道最新
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- Wan2GP AMD 版一键安装上线，6GB 显存即可跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- WanGP v18.81 支持 Hy-Nomas 世界模型，8GB 显存可用 WASD 探索 — cocktailpeanut · 2026-10-27
- 可编程视频编辑器 Butter 走红:时间线上搭积木做动效模板 — beechinour · 2026-10-27
- AI 视频：布洛克·莱斯纳对决「高个邓肯」玩具对决 — KloneStudios · 2026-10-27
- 2 小时 50 美元复刻 Kurzgesagt 格式，引出「AI 创作缺意图」之争 — motionbynick · 2026-10-27