QSA 注意力与 GatedResidual 实测性能双双超越基线

Qwen 的消融实验覆盖短上下文、长上下文及通用语言建模评估，结果显示 QSA（Quasi-Sparse Attention）在 FLOPs 匹配的假设下语言建模表现优于基线。同时报告提出新的残差连接变体 GatedResidual：先对各分支做 RMSNorm，再经低秩瓶颈投影，并用单一分支级标量写入；实验对比显示其性能优于 HyperConnections。

2026-08-27 ~ 2026-08-27 · 2 条相关