Continuum Attention 用连续积分替代离散查表，验证损失全面优于 softmax

pmttyji · reddit · 2026-10-23

论文提出 Continuum Attention（CA），一种新的因果 Transformer 注意力算子：不再做离散的 key/value 查表，而是对连续分段线性记忆曲线做积分。每个 query 沿曲线诱导指数相关性密度，通过闭式指数矩积分得到精确的归一化注意力，梯度最多只需二阶矩，可并行 GPU 实现，保持二次序列复杂度和标准 decoder 结构。

实验上，相比普通 softmax 和 focal attention，CA 分别将验证集平均负对数似然降低 0.0200 和 0.0480 nats/byte，赢得所有配对比较；在独立验证切片上比最强 softmax 基线低 0.0457 nats/byte（95% 置信区间）。更大规模泛化仍是开放问题。