Looped Models 设计指南:三明治架构提升推理,优势可迁移到 MoE

IFM · hf · 2026-10-19

IFM、USC、CMU 团队(作者含 Eric Xing 等)发布循环语言模型(looped models)系统研究第一部:现有架构把循环位置、输入注入与循环状态组织三个设计维度纠缠在一起。团队在参数量、逻辑深度、token 预算对齐的条件下从零训练模型,逐一隔离这些设计轴。

核心结论:prelude–recurrent block–coda「三明治」架构在上下文提取与推理密集型任务上一致提升;输入注入主要增强知识检索与上下文利用,而随机初始化与分离式设计各有影响。关键的是,这些设计原则可迁移到按驻留参数与激活参数对齐的 Mixture-of-Experts 模型。代码开源于 github.com/ifm-ai/xllm-loop。