仅加32个参数：LeRoPE让大模型位置编码频率自学习，效果全面超越RoPE
burny_tech · x · 2026-07-30
ICML 论文提出了 LeRoPE（Learnable RoPE Frequencies），指出当前大模型依赖人工挑选的 RoPE 频率来理解 Token 位置，而将其改为可学习模式后效果更好。
- 极低参数开销：仅额外引入 32 个参数，LeRoPE 在多种规模模型上的表现均超越了标准 RoPE。
- 发现主导频段：模型在训练中自然演化出一个约等于训练上下文长度 2.2 倍的主导位置频段。
「研究」频道最新
- MIT FutureTech 主任 Neil Thompson：AI 先接管任务再取代岗位 — bigdata · 2026-10-16
- 马里兰大学提出 PAIR 框架，用桥接 token 打通 VLA 感知与动作 — Kaixi Feng · 2026-10-16
- CI-MSE 离线指标与机器人真机成功率相关性达 -0.87,远超原始 MSE — chris_j_paxton · 2026-10-16
- Colossal 用 AI 破译灭绝渡渡鸟基因开关，复活计划再进一步 — castrotech · 2026-10-16
- Colossal Biosciences 用 AI 寻找基因开关，推进渡渡鸟复活计划 — castrotech · 2026-10-16
- Cheng Lou 开源 Handwired：手写权重把代码变成零训练神经网络 — dotey · 2026-10-16