ARLoop 发布:1.2B 循环 Transformer 全基准超越 Huginn-3.5B
hhsun1 · x · 2026-11-10
UPenn 团队(杨岳坤等,OSU NLP 参与)发布 ARLoop:迄今最强的全开源预训练循环(looped)LLM 系列,核心问题是「如何让循环 Transformer 更好地利用重复计算」,答案是引入 Attention Residuals 在深度方向选择性复用信息。
- ARLoop-1.2B 仅用 0.5T token 预训练,却在常识推理、数学、编程全部 8 个评测基准上同时超过此前最强的全开源循环模型 Huginn-3.5B 和 Qwen3.5-2B Base
- 团队此前工作《Loop, Think, & Generalize》已证明循环深度能提升多跳推理的泛化,本作是其延续
- 全量开源:模型权重、训练代码、数据处理代码、中间 checkpoint 与评测代码一并放出,补齐了循环 LLM 训练 recipe 缺失的空白
对追求小模型高推理效率的方向来说,这是一份可复现的完整路线图。
「模型」频道最新
- Meta 隐身模型揭秘:Crouton Alpha 就是 Muse Ember 早期版 — alexandr_wang · 2026-11-10
- GPT-6.1 Terra 视觉理解效率胜 Sol，Opus 5.5 居榜首 — reach_vb · 2026-11-10
- Fable 5.2 控制物理机器人大幅进步，双臂任务胜过专用机器人模型 — burny_tech · 2026-11-10
- Polymarket 赔率:Grok 5 明年底前发布概率仅 11%,后年底 83% — Polymarket · 2026-11-10
- 爆料称 Anthropic 在训练中限制 Fable/Mythos 5.2 的 RSI 关键能力 — TinfoilTricorn · 2026-11-10
- Argon 模型凭 3 分钟音频锁定说话者俄语口音,精确到音素分析 — soumitrashukla9 · 2026-11-10