循环 Transformer 怎么堆才对:只循环中间层,Huginn 架构全面胜出
burny_tech · x · 2026-11-01
IFMUSCCMU 团队(含 Eric Xing、Xuezhe Ma)发布论文《Towards Looped Models Done Right》第一部分,系统拆解循环语言模型(looped LM)的三个设计维度:循环层放置位置、输入注入方式与循环状态组织。
核心发现
- 拓扑结构:「序言-循环块-尾声」三明治架构(Huginn 式设计,循环层夹在独立的输入/输出层之间)在上下文提取和推理任务上持续占优;只循环中间层比重复循环整个 Transformer 效果更好。
- 输入注入:主要提升知识检索与上下文利用;随机初始化和分离 H/L 循环状态则收益不稳甚至为负。
- 规模验证:730M 参数/336B token 下,Huginn 架构在全部 10 个基准上超过 Ouro。
- 迁移到 MoE:8B 常驻/0.8B 激活参数(展开等效 32B/3B)、500B token 训练下,Huginn MoE 在知识、推理、编码几乎全部基准上胜过 Ouro MoE,专家路由也更均衡。
- 公平对比:匹配训练与推理 FLOPs 后,Huginn 式模型常驻参数比 112 层前馈 MoE 基线少 75%,GSM8K 反而更高(83.6% vs 80.8%),DROP 胜出,MATH500 打平。
结论:循环模型的设计空间中,「哪里循环」比「循环多少次」更关键,Huginn 式设计是当前最优解。
「研究」频道最新
- inclusionAI 开源 IDM 蒸馏法：2 步出图，中文长文本超 8 步 Turbo — bdsqlsz · 2026-11-01
- 最便宜的强化学习自学路线：一台笔记本就能跑完全部基础 — cneuralnetwork · 2026-11-01
- LessWrong 新文反驳 SAE 质疑论文：实验设置对 SAE 过于苛刻而非宽松 — burny_tech · 2026-11-01
- LeCun 新论文证明柏拉图表示假说：JEPA 对齐样本效率高 42 倍 — burny_tech · 2026-11-01
- 用脑机接口读取大脑唤醒信号,给 AI 做隐式个人化奖励 — burny_tech · 2026-11-01
- 研究：句法演化源于对既有感觉运动回路的渐进式功能复用 — abenitezburraco · 2026-11-01