Inkling 的位置编码思路
_arohan_ · x · 2026-07-16
作者转述并评论了 **Inkling** 的位置编码思路：其核心创新是“相对位置贡献由每个 query 单独决定”，而不是像 RoPE 那样依赖某个特定 head 中与内容弱相关的一组频率来表达“第 n 个更早的位置”。 这条帖子的重点是：新方法把相对位置信号的控制权放到 query 侧，从而改变模型利用上下文位置信息的方式。
_arohan_ · x · 2026-07-16
作者转述并评论了 **Inkling** 的位置编码思路：其核心创新是“相对位置贡献由每个 query 单独决定”，而不是像 RoPE 那样依赖某个特定 head 中与内容弱相关的一组频率来表达“第 n 个更早的位置”。 这条帖子的重点是：新方法把相对位置信号的控制权放到 query 侧，从而改变模型利用上下文位置信息的方式。