研究指1D-RoPE缺陷致大模型长串复制失手

最新研究指出，尽管前沿大语言模型已具备复杂推理能力，但在精确复制长且重复的字符串时仍极易失手。研究发现，输入越长、重复模式越复杂，模型的复制表现就越不稳定。论文认为该问题的根源在于标准的一维旋转位置编码（1D-RoPE）在处理长序列时存在局限性，而采用二维旋转位置编码（2D-RoPE）能让模型更稳定地完成长字符串复制任务。

2026-07-27 ~ 2026-07-27 · 2 条相关