HoPE 提出不随时间衰减的位置编码，增强长上下文能力
burny_tech · x · 2026-07-25
HoPE 提出一种不依赖长期衰减的位置编码
这篇论文提出了 HoPE，目标是提升大模型的上下文感知与外推能力。
作者认为，许多传统位置编码默认“远处 token 相关性更低”，但这个假设在 LLM 时代已经不够准确。论文的实证分析显示，模型往往学习到的是一种局部衰减、整体 U 型的注意力模式；作者进一步把这种现象与 RoPE（旋转位置编码）里的某些成分联系起来。
HoPE 的做法是：用位置无关的方式替换 RoPE 中具体依赖位置信息的部分，只保留高频信号。论文声称它带来两类收益：
- 更好的自发注意力优化与长上下文外推
- 对位置与语义成分的分离优化，从而提升整体表现
配图是论文首页与摘要页，显示该方法针对上下文感知和外推做了系统实验。
「研究」频道最新
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- 浏览器助手 Ito 读懂浏览意图，自动把标签页编排成 Flows — andrewkuznet · 2026-10-26
- 康奈尔研究称大脑按线性序列处理语言,挑战乔姆斯基层级语法;印度语言成反例讨论点 — anirbanbandyo · 2026-10-26
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26
- Ortet 首次健康评测：34 个开源模型跑 50 项任务，综合排名不够用 — elmanmansimov · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26