微软新论文 Universal YOCO:递归计算高效扩展推理深度
donglixp · x · 2026-09-11
转帖引用了 arXiv 论文《Universal YOCO for Efficient Depth Scaling》(Yutao Sun、Li Dong、Furu Wei 等,微软亚洲研究院团队)。
论文要点：
- 问题:test-time scaling 提升了 LLM 推理与 agent 能力,但标准 Transformer 的循环缩放策略算力开销高、KV cache 随深度膨胀。
- 方法:YOCO-U 将 YOCO decoder-decoder 架构与递归计算结合,通过参数共享的 Universal Self-Decoder 多次迭代,且把迭代限制在浅层高效注意力层。
- 收益:YOCO 提供常数大小全局 KV cache 与线性 pre-filling,部分递归以有限开销增加表征深度,兼顾能力与推理效率。
- 结果:在通用与长上下文 benchmark 上保持强竞争力。
转发者 @scaling01 调侃「再叠一层 recurrent depth」,回复者给出论文链接。
所属事件:微软发布 Universal YOCO：递归计算高效扩展模型深度(3 条相关)→
「研究」频道最新
- UC伯克利联合 NVIDIA 发布 AW-0:真实机器人操控成功率 71.1 分远超基线 — trevordarrell · 2026-10-27
- AW-0 机器人模型实测:RoboTwin 50 项任务成功率 80.8% 远超基线 — trevordarrell · 2026-10-27
- AW-0 用代码流改变世界模型预测:同一指令下精准选中目标物体 — trevordarrell · 2026-10-27
- AW-0 发布:代码+视频+动作三专家联合生成的智能体世界动作模型 — trevordarrell · 2026-10-27
- AW-0 训练配方:3000 小时演示蒸馏出 50 个可复用技能程序 — trevordarrell · 2026-10-27
- AW-0 世界动作模型发布：一个生成式模型同时管规划、预测与控制 — trevordarrell · 2026-10-27