URM 小模型靠循环深度反超大模型,UT 架构会翻身吗

moschles · reddit · 2026-10-09

Reddit 用户 moschles 发帖讨论 Universal Transformer(UT)与 Universal Reasoning Model(URM)这两条研究路线是否已被前沿大厂吸收,还是被埋没。
UT 的核心改动是把标准 Transformer 的多层堆叠换成在深度上循环复用同一个 block:反复执行 H^(t+1) = LayerNorm(H^t + MHA(H^t)) 与逐位置 Transition 更新,并加入二维正弦位置编码来同时表达位置与精炼深度。
引用的论文称,基于 UT 从零训练的小模型(无互联网级预训练)在相关任务上仍显著优于多数标准 Transformer 架构的 LLM。URM 架构则包含固定循环、ACT 循环与 ConvSwiGLU 模块,并提出 Truncated Backpropagation Through Loops(TBPTL)训练方法。
帖子附论文(arXiv 2512.14693)、博客解读与 YouTube 演讲链接,作者发起讨论:这套增强是否已进入大厂前沿模型。

「模型」频道最新