SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization
Zian Liu, Yiwen Hu, Zican Dong, Tian Xie, Wayne Xin Zhao, Yucheng Ding, Ran Tao, Bryan Dai
cs.CL
2026-09-13
SpectralShift按长度比的平方根收缩Gated DeltaNet的alpha投影偏差，并同比缩小其学习率。1.5B MoE从8K扩到128K的两阶段课程上，RULER均分55.18对基线52.38，短文本能力基本不掉。
线性注意力把历史压进固定大小的循环状态，算力随长度线性增长，换来的是：超窗之后，信息还在不在，取决于转移矩阵的谱。工程上的扩窗套路来自 softmax：改 RoPE 基、继续预训练。Gated DeltaNet（GDN）的遗忘由数据相关的 alpha 门控，这一套并不自动跟着目标长度走。短窗上学到的衰减，到了 32K、128K 会对长程检索偏快。
NIAH 探针把这件事拆成两半。慢谱带要够宽，才能覆盖针到查询的距离；写入方向还得落进这些慢子空间。只拉长最大时间常数不够，快衰减模态还得留下，否则状态清不掉、上下文切不过去。
GDN 状态更新是 St = At S{t-1} + Δt，其中 At = αt (I − βt kt kt^T)。有限步转移的奇异值定义衰减率，慢谱带是有效时间尺度盖住目标距离 ℓ 的那些方向（实践上奇异值 ≳ e^{-1}）。alpha 的头共享部分最容易改；由 key 决定的奇异值部分绑着写入方向，动它更危险。
SpectralShift 两步。第一步改初始化：把 alpha 投影拆成全局均值加输入相关偏差，偏差乘 s = (Lref / Ltar)^{0.5}。指数 0.5 来自尺度匹配，消融里也是这一档最稳。缩小偏差会让正偏差更大保留、负偏差更快忘，头与头之间的快慢被拉开，给后续训练一条非均匀的谱。第二步只把 alpha 投影的学习率乘同一个 s，限制整头共享衰减在续训里集体漂走，β、key、value 仍用原学习率去适应长文本。
算法上：读入短窗检查点，重参数化 Wα，设 ηα = s η，然后在目标长度上继续预训练。主实验的基座是 1.5B-A0.6B 的 GDN-MoE，Dolma3 上 500B token、8K 预训练，再用 10B 或 20B token 扩到 32K/64K/128K，softmax 层配 ABF 调整的 RoPE。
8K→32K、10B token：RULER 在 8K/16K/32K 为 57.1/52.9/45.8，基线 55.5/49.7/40.6，通用均分 53.1 对 54.3，短文本基本持平。64K 的 10B+10B 课程上，32K 档 52.7 对 47.0，64K 档 45.4 对 41.6。
128K 两阶段（10B+10B）是主结果。SpectralShift 的 RULER 8K 到 128K 为 64.6/60.1/56.7/49.9/44.6，基线 64.3/57.2/51.9/45.4/43.1。论文汇总的均分 55.18 对 52.38，相对约 +5.35%。直拉 20B 到 128K 两边都更差，课程比一次拉满有用，SpectralShift 仍高于同设置基线。
消融在 8K→128K：只做 alpha 重参数化或只改学习率都不如两者加上 s^{0.5}。s^1 过猛，通用均分掉到 52.2。换 DroPE、YaRN、ABF，最大评测长度上多数设置仍优于同 PE 基线。纯 GDN、无 softmax 混合时，4K→32K 的 RULER Single-1 为 10.63 对基线 6.43，差距随目标长度变大。
NIAH 上，把 alpha 谱往慢里推之后，8K 窗口的写入重叠 0.1006 到 0.1503，NIAH 均分 8.60 到 32.93；32K 窗口 0.0964 到 0.1819，NIAH 10.07 到 30.47。慢带变宽，针也更写得进去。
混合模型已经把 GDN 一类线性层扩到很长上下文，技术报告很少写线性层本身怎么改。这篇给出一个便宜动作：动 alpha 投影的初始偏差和学习率，不动结构，不改损失函数。对从 8K 检查点续训到 32K 以上的 GDN 或混合模型，这比只调 RoPE 更对症。s = sqrt(长度比) 可以当默认超参，消融支持它，不是从网格里碰运气。
作者自己写了：只在 1.5B MoE 上验证，训不动 Qwen3.5 那种已经扩过窗的大混合模型。RULER 均分改善大约 3 个点，不是换架构级别的跳跃。纯 GDN 的绝对分仍然很低（32K 上 10.63）。NIAH 的 High-Retrieval 是把 alpha 谱推慢后的探针，不是完整 SpectralShift 流水线。主实验的 softmax 层仍在用 RoPE/ABF，线性层贡献和注意力贡献没有完全拆开。没有 1M 级长度，也没有把同一套谱操作搬到 Mamba 或普通 DeltaNet 上的系统实验。