不用位置编码反而更强？NoPE 论文再引长度泛化讨论
BlackHC · x · 2026-11-03
开发者 BlackHC 在推文中重提两篇位置编码研究：NoPE（Kazemnejad et al., arXiv:2305.19466）与 BAM（Bianchetti et al.）。
NoPE 论文系统比较了五种位置编码方案（APE、T5 Relative PE、ALiBi、RoPE 与无位置编码 NoPE）在推理与数学任务上的长度泛化表现，核心发现：
- 最常用的 ALiBi、RoPE、APE 在下游任务的长度泛化上并不理想；
- NoPE（完全不加位置编码）反而优于所有显式位置编码方法，且无额外计算开销；
- 理论上 NoPE 可表达绝对与相对位置编码，SGD 训练下其注意力模式更接近 T5 的相对 PE；
- Scratchpad（草稿链）并不总能帮助解决长度泛化问题。
「研究」频道最新
- Claude 无训练手写权重：13 任务 959 个程序，算法任务全满分 — ChengleiSi · 2026-11-03
- AI 演示翻车还是钓鱼?批评者指 prompt 暗示了答案 — mayfer · 2026-11-03
- Qwen 陷入死循环,Astra 用代码消融「循环方向」救活模型 — burny_tech · 2026-11-03
- 递归调用 GPT-5-Mini 常比单次调 GPT-5 更便宜且效果更好 — lateinteraction · 2026-11-03
- 同一 Agent 用 Rust 和 C 重写 Liquid 模板引擎：Rust 省 42% token，C 快 1.7 倍 — antirez · 2026-11-03
- 「苍蝇打节奏光剑」爆红，全脑仿真亟需公认判定基准 — rishabh16_ · 2026-11-03