相对位置嵌入或优于RoPE
eliebakouch · x · 2026-07-16
帖子引用了一项研究结论： - 研究认为，使用**相对位置嵌入**来编码位置时，效果更好，也更能泛化到更长序列。 - 文中具体强调的是一种**可学习、依赖输入的 bias** 加到 attention scores 上的做法。 - 作者将其与当前更常用的 **RoPE** 做对比，结论是前者表现和长序列外推都更优。
eliebakouch · x · 2026-07-16
帖子引用了一项研究结论： - 研究认为，使用**相对位置嵌入**来编码位置时，效果更好，也更能泛化到更长序列。 - 文中具体强调的是一种**可学习、依赖输入的 bias** 加到 attention scores 上的做法。 - 作者将其与当前更常用的 **RoPE** 做对比，结论是前者表现和长序列外推都更优。