Partial RoPE 研究：仅旋转 10% 维度即可逼近全 RoPE 收敛
BlancheMinerva · x · 2026-10-26
作者在 EMNLP 2026 布达佩斯展示论文《Fractional Rotation, Full Potential? Investigating Performance and Convergence of Partial RoPE》（与 Krishna Gummadi、Manish Gupta、Abhilasha Ravichander 合作），海报披露了关键结论：
- Partial RoPE 指每个 query/key 头只旋转一部分维度，其余保持不变；现有模型做法差异很大（GPT-OSS-20B 只转 16.9%，Phi-2 约 40%，Llama 系列为 100%）。
- 团队从零预训练了 55 个模型（1B 与 8B、Llama/QK-Norm 架构、FineWeb-Edu、100B tokens、序列长 1024–8192、旋转比例 0–100%）。
- 核心发现：旋转 约 10% 的维度即可达到与全 RoPE 相近的收敛损失带，同时 RoPE cache 最高缩小 10 倍。
- 完全不旋转（NoPE）会破坏训练稳定性（损失尖峰），QK-Norm 能消除尖峰但损失仍偏高。
- 困惑度评测支持结论：LAMBDA 上 0%（NoPE）14.90±0.46，10% 为 11.86±0.39，100% 为 11.78±0.39。
「研究」频道最新
- HarnessMM 论文：缓存已定决策,Agent Token 消耗降 88% 成功率反升 — omarsar0 · 2026-10-26
- Ben Recht 撰文呼吁打造真正开源的大语言模型:比想象中更可行 — beenwrekt · 2026-10-26
- 黑盒蒸馏五步法：从教师模型到学生模型的完整流程拆解 — chrisrohlf · 2026-10-26
- DetectorScope：用稀疏自编码器把黑盒 AI 文本检测器变得可审计 — _akhaliq · 2026-10-26
- OPST 论文：无需人工数据，模型仅凭自生成问答实现自我提升 — _akhaliq · 2026-10-26
- 腾讯团队发 HiSTEVE 1.0：纯键鼠操作让 VLA 智能体自主玩 Minecraft — _akhaliq · 2026-10-26