LeRoPE 论文：把 RoPE 频率改为可学习参数，省 3.4% 算力
eliebakouch · x · 2026-10-30
圣地亚哥实验室（UCSD，作者含 Julian McAuley）发表的 LeRoPE 论文提出，将 RoPE 位置编码中按几何序列固定的旋转频率改为逐频率可学习的标量参数。团队从零训练了 52M 到 2.5B 参数的模型阶梯验证，发现训练中会涌现出一个高范数的「位置频带」；LeRoPE 在所有规模上都稳定优于 RoPE 和 partial RoPE，在最大规模下 RoPE 需要多花 3.4% 的 FLOPs 才能追平 LeRoPE。eliebakouch 顺带吐槽该方法名字容易让人误以为出自某大厂。
「研究」频道最新
- UCSD 与 Adobe 新论文：先知后画，算省 48 倍性能反升 10% — Yucheng Mao · 2026-10-30
- 直播用 mechinterp 定位 Qwen3.5 的「悲伤神经元」 — burny_tech · 2026-10-30
- 斯坦福教授 Anshul Kundaje：大多论文不需正式评审，现有体系已崩溃 — anshulkundaje · 2026-10-30
- RT-SAFE 基准实测：模型推理提速，安全事件却不降反增 — Lianhuiq · 2026-10-30
- LeCun 团队提出 LeHami:用辛哈密顿流保住 JEPA 长程 rollout 的潜空间 — ylecun · 2026-10-30
- 新方法 RLNF:纯靠脑电信号训练 AI 顺应人类偏好 — alex_verem · 2026-10-30