Qwen 门控注意力论文揭示:attention sink 可由门控统一表达

miyashita_03 · x · 2026-11-13

X 用户 miyashita03 注意到 Inkling 2 Small 同时使用了动态 attention sink 和门控注意力(gated attention),并质疑前者可能冗余——因为门控注意力已能表达同样功能。

原文链接 →