卢森堡大学提出 Continuum Attention:连续积分替代离散注意力,性能全面胜出

Afshin Khadangi · hf · 2026-10-15

卢森堡大学 Afshin Khadangi 提出 Continuum Attention(CA),一种因果 Transformer 注意力算子:将离散的 key/value 查找替换为对连续分段线性记忆曲线的积分,每个 query 沿曲线诱导指数相关性密度。通过闭式指数矩积分得到精确归一化注意力(含半 token 边界贡献),梯度只需不超过二阶的矩,可并行 GPU 实现,保持二次序列复杂度与标准 decoder 结构。

实验上,相比普通 softmax 与 focal attention,CA 分别降低平均验证 NLL 0.0200 与 0.0480 nats/byte,赢得全部配对比较;在独立验证切片上比最强 softmax 基线优势 0.0457 nats/byte(95% 置信区间)。更大规模泛化仍是开放问题。