MSRA 团队发布 Universal YOCO:参数共享递归实现高效深度扩展

donglixp · x · 2026-09-11

微软亚洲研究院 Yutao Sun、Li Dong、Furu Wei 等人发布新论文 Universal YOCO(YOCO-U),arXiv 编号 2604.01220。论文核心:标准 Transformer 难以高效扩展推理时计算,传统循环策略计算开销大且 KV cache 随深度膨胀。YOCO-U 将 YOCO decoder-decoder 架构与递归计算结合:Universal Self-Decoder 通过参数共享执行多次迭代,且迭代只发生在浅层的高效注意力层。YOCO 提供常数级全局 KV cache 与线性 prefill,部分递归则以有限开销增强表征深度。实验显示 YOCO-U 在通用与长上下文基准上保持强竞争力。作者认为架构创新正进入下半场——从组件创新转向布局创新,YOCO 对 prefill 与解码的逻辑分离即为例证,Looped YOCO 等完整架构栈正在成形。