ARLoop 全开源循环 Transformer：1.2B 胜 Huginn-3.5B

UPenn 团队(杨岳坤等，OSU NLP 参与)发布 ARLoop:迄今最强的全开源预训练循环(looped)LLM 系列，并公开复现研究所需的全部资源，包括论文、代码、训练配方与 checkpoint。

已确认

ARLoop 采用 Attention Residuals 架构，核心研究问题是「如何让循环 Transformer 更好地利用重复计算」
最强模型 ARLoop-1.2B 在常识推理、数学和编程评测上同时超过此前最先进的完全开源 looped 模型 Huginn-3.5B,以及 Qwen3.5-2B / Qwen 2B Base
团队公开完整训练配方，覆盖从受控实验到 LLM 预训练的完整流程
11-11 团队宣布进一步开放论文、代码与 checkpoint 等全套复现资源

为什么重要

循环 Transformer 通过重复计算提升模型能力，ARLoop 提供了该方向迄今最强且完全开源的预训练基线，超越参数量更大的 Huginn-3.5B,显示架构设计的收益
学术实验室全开源(论文+代码+配方+checkpoint)的做法降低了后续研究复现与改进的门槛

2026-11-10 ~ 2026-11-11 · 5 条相关

一手来源

ARLoop 发布:1.2B 循环 Transformer 全基准超越 Huginn-3.5B — hhsun1 · 2026-11-10 10:54 北京时间
ARLoop 循环 Transformer 预训练全套资源开源：论文、代码、checkpoint 齐发 — hhsun1 · 2026-11-11 01:42 北京时间

【源头】ARLoop 发布:1.2B 循环 Transformer 全基准超越 Huginn-3.5B — hhsun1 · 2026-11-10
【源头】ARLoop 循环 Transformer 预训练全套资源开源：论文、代码、checkpoint 齐发 — hhsun1 · 2026-11-11

另有 3 条近重复转述:hhsun1 · burny_tech · Lianhuiq