Loopie循环Transformer发布,同等算力超越传统架构
Zitian Gao · hf · 2026-07-20
发布Loopie系列循环Transformer模型,包含20B总参(2B激活)和6B总参(0.6B激活)两个MoE版本。
- 解决痛点:过去循环Transformer在增加预训练计算量时,通常不如直接放大参数量有效,Loopie克服了这一瓶颈。
- 性能表现:在同等计算预算下,其消融实验表明性能显著优于传统的30B-A3B基线模型。
- 推理能力:通过全新的后训练流程赋予模型强大的推理能力,在2025年IMO(国际数学奥林匹克)和IPhO(国际物理奥林匹克)中无需外部工具即达到金牌水平表现。
所属事件:Loopie循环Transformer发布,同算力击败30B基线(6 条相关)→
「模型」频道最新
- Gemini 3.6 Flash model card 以链接帖形式出现 — Angaisb_ · 2026-07-21
- Gemini 3.6 Flash 对比图曝光定价与多项基准成绩 — bdsqlsz · 2026-07-21
- Google 发布三款 Gemini 模型,含最强版和安全版 — nordicinst · 2026-07-21
- Gemini 3.6 Flash 在多项智能体评测中表现强势 — CounterReady4774 · 2026-07-21
- Gemini 界面疑似先上了 3.6 Flash,3.5 Pro 还没等到 — xiaohu · 2026-07-21
- 故意否定第一版答案,能逼 GPT 和 Gemini 吐出更多漏洞 — huangyun_122 · 2026-07-21