循环模型架构新研究：8B参数在推理任务反超32B
SonglinYang4 · x · 2026-08-01
该研究深入探讨了循环模型（Looped Models），这类模型通过在不同深度复用相同权重，以期获得更好的算力与参数权衡。
研究团队进行了严格的对照消融实验（匹配训练和推理的 FLOPs），对比了从 Ouro 到 Huginn 等不同架构。结果显示 Huginn 整体表现更优，其核心增益主要来源于“中间循环（三明治）”设计和输入注入。
实验表明，在 500B tokens 上训练的 8B-A0.8B Huginn MoE 模型，在 GSM8K 等多项推理基准上逼近甚至超越了 32B-A3.2B 的前馈 MoE 模型（如 GSM8K 得分为 83.6% vs 80.8%），且在算力对等的情况下，驻留参数量减少了 75%。
「研究」频道最新
- Google 实习生发布 DuoDiscover,登顶 NVIDIA SOL-ExecBench — berkeley_ai · 2026-10-16
- MIT AI 模型解码细胞通信语言，瞄准再生医学 — emmanuelvivier · 2026-10-16
- 视觉预训练模型做触觉预测有多难?机器人研究者激辩跨模态迁移 — KyleMorgenstein · 2026-10-16
- Tsallis 熵正则化最优 transport 统一 Monge 与 Sinkhorn 两大框架 — FrnkNlsn · 2026-10-16
- EPFL/DeepMind 研究者将线上讲解 Simplex Diffusion Models 论文 — ArnaudDoucet1 · 2026-10-16
- 美团 LongCat 团队发布 Data World：合成数据环境训练数据智能体 — meituan-longcat · 2026-10-16