Arohan 谈广义 RoPE:图像模型用 2D-RoPE 复数表示更易实现
_arohan_ · x · 2026-09-05
在回复 @thomasahle 时,arohan 提出对 RoPE(旋转位置编码)做泛化处理的想法:对图像模型可使用 2D-RoPE 这类广义形式,而在复数表示下实现会更容易。这是一条简短的技术观点,未展开细节与实验。
「研究」频道最新
- 开源仓库:用 Notebook 从零实现 Q-learning 到 PPO 等强化学习算法 — ZabihullahAtal · 2026-09-05
- 9.9k star 的 Awesome RL 清单已停更,仍是强化学习资源大全 — ZabihullahAtal · 2026-09-05
- Gojo 数值结构可视化实验上线:齿轮演示到 GojoCAD 阶梯构建 — debreuil · 2026-09-05
- AI2 联合 E3SM 团队发布 SamudrACE:大气与海洋模拟器耦合运行 — allen_ai · 2026-09-05
- 开发者把 AI 数学研究实验搬上网页,感叹 AI 一句话搞定 — debreuil · 2026-09-05
- Claude 完成费马大定理首个形式化证明:1300 万行 Lean 代码 — AnthropicAI · 2026-09-05