UCSD 论文提出 LeRoPE:改进旋转位置编码,性能与效率双升
burkov · x · 2026-07-30
加州大学圣地亚哥分校(UCSD)的一项研究提出了 LeRoPE,这是一种对旋转位置编码的新型改进方案。
该方法通过为每个频率学习一个标量,在多种模型规模上均持续优于标准和部分 RoPE,同时所需的计算开销更小。
「研究」频道最新
- 开源实战:几分钟训练超向量编码器,实现 XOR 查询 — CShorten30 · 2026-07-30
- 腾讯混元AI智能体破解50年数学难题 — teortaxesTex · 2026-07-30
- 简单提示词产出数学证明?专家需数百小时学习,每次尝试成本10万美元 — dbreunig · 2026-07-30
- Anthropic 新论文:从 Claude 内部提取出类人情感几何空间 — anselm · 2026-07-30
- 单次人类演示即学会用剪刀,新框架实现机器人灵巧工具操作 — HaozhiQ · 2026-07-30
- NBER论文:用大模型生成和验证经济学理论模型 — soumitrashukla9 · 2026-07-30