ARLoop 循环 Transformer 预训练全套资源开源:论文、代码、checkpoint 齐发
hhsun1 · x · 2026-11-11
ARLoop 团队宣布开放复现其循环 transformer(looped transformers)预训练研究所需的全部资源:
- 论文:完整阐述 ARLoop 方法
- 代码与训练配方:从受控实验到 LLM 预训练的完整流程
- Hugging Face 上的模型与中间 checkpoint
研究者可以直接复现、研究并在其基础上继续构建,覆盖从受控实验到完整 LLM 预训练的不同规模。
所属事件:ARLoop 全开源循环 Transformer:1.2B 胜 Huginn-3.5B(5 条相关)→
「研究」频道最新
- CoRL 联合主席忆 2021 展区仅三张桌,对比 2026 规模感概行业巨变 — Ed__Johns · 2026-11-12
- 预训练原子模型筛选 1620 种组合,为单原子金属找稳定衬底 — bravo_abad · 2026-11-12
- Claude Fable 5.2 机器人实验被拿去吊打李飞飞 World Labs?作者称搞错了研究问题 — dotey · 2026-11-12
- Claude 数周产出 239 个形式化证明,验证 123 个开源库无崩溃 — kieranklaassen · 2026-11-12
- SynthICL:纯合成数据训练,单演示泛化 16 项真实操作任务 — Ed__Johns · 2026-11-12
- AI Agent 不跑模型直接改权重,1024 个数字让 MATH-500 从 7.4% 升至 37.4% — VictorSanh · 2026-11-12