为何LLM超出训练上下文长度即崩溃：RoPE几何框架给出解释

burkov · x · 2026-10-13

现代 LLM 依赖 attention 机制并用 RoPE（旋转位置编码）追踪词序，但输入超过初始训练上下文长度后会出现严重的性能崩溃。此前研究把这一失败归因于旋转值漂移出分布，但确切机制一直未被解释。

这篇文章研究了 RoPE 在长输入下退化的原因，并建立了一个统一的几何框架来解释和解决这一关键瓶颈。

原文链接 →

「研究」频道最新

• Google 研究让用户模拟器学会暗自评分，RL 训练算力省一半以上 — cocoweixu · 2026-10-13
• Gaperon 团队：基准污染扭曲评测，但测试数据或提升泛化 — antoine_chaffin · 2026-10-13
• Helmholtz-SDE：无需数值模拟即可从噪声数据恢复动力学 — scott_linderman · 2026-10-13
• 持续学习论文弹幕:Cortical Labs 培养皿神经元、自蒸馏、Text-to-LoRA 等清单 — yacinelearning · 2026-10-13
• 1.5 小时深聊持续学习:从第一性原理到超网络与 Qwen3-8B 实验 — yacinelearning · 2026-10-13
• 偏好训练可能只改末层「表演」，对齐与模型福利隐忧浮现 — Sauers_ · 2026-10-13

更多「研究」频道 AI 资讯 →