学术实验室全开源 ARLoop：1.2B 循环 Transformer 胜过 Qwen 2B Base

hhsun1 · x · 2026-11-10

ARLoop 是一系列完全开源、从零预训练的循环 Transformer（Looped LLM），采用 Attention Residuals 架构。最强模型 ARLoop-1.2B 在常识推理、数学和编程评测上同时超过此前最先进的完全开源循环 LLM Huginn-3.5B 和 Qwen3.5-2B Base。

团队完整公开了训练配方：数据准备、模型训练、中间 checkpoint 到评测代码一应俱全，被评价为循环 Transformer/LLM 领域最好的开源资源之一。对研究循环架构、权重复用与推理深度的人是难得的完整可复现资源。