Nanbeige4.2-3B 发布,Looped Transformer 架构主打 Agent 能力
Nanbeige Lab 正式发布了 Nanbeige4.2 系列模型并上线 ModelScope 平台。该系列最引人注目的是一款基于 Looped Transformer 架构的紧凑型 Agent 模型 Nanbeige4.2-3B,它在不增加参数量的前提下提升了模型容量,并在多项基准测试中超越了参数量更大的模型。
已确认
- 模型架构与参数:Nanbeige4.2-3B 是一款 4B 总参数、3B 非嵌入(non-embedding)参数的模型。该系列还包含一款训练了 28T tokens 的 Looped Transformer 基础模型,以及 3B 参数的 SFT+RL 模型。
- 基准表现:据 @teortaxesTex 和 @UsedMorning9886 转述,该 3B 模型在 SWE-Bench 中取得了 63.6 的高分,并在多项 Agent 基准测试中对比 Qwen 3.5、Gemma 4 等模型取得领先优势。
- 后续规划:官方已确认 Nanbeige4.5 模型目前正在训练中。
为什么重要
该模型展示了 Looped Transformer 架构在突破小参数模型性能上限方面的潜力。通过循环机制在不增加参数规模的情况下提升模型容量,并在 Agent 相关任务上取得优异成绩,为高效、低成本的端侧 Agent 部署提供了极具潜力的新解法。
2026-07-22 ~ 2026-07-23 · 5 条相关
一手来源
- Nanbeige4.2-3B 发布,3B Looped Transformer 反超更大模型 — Wooden-Deer-1276 ·
- Nanbeige4.2-3B 用 Looped Transformer 冲到 SWE-Bench 63.6 — UsedMorning9886 ·
- Nanbeige4.2 模型上线,主打循环 Transformer 架构 — snwy_me ·
- 【源头】Nanbeige4.2-3B 发布,3B Looped Transformer 反超更大模型 — Wooden-Deer-1276 · 2026-07-22
- Nanbeige 4.2-3B 在多项基准上领先 Qwen 和 Gemma — teortaxesTex · 2026-07-22
- 【源头】Nanbeige4.2-3B 用 Looped Transformer 冲到 SWE-Bench 63.6 — UsedMorning9886 · 2026-07-22
- Nanbeige 发布 3B Agent 模型并预告 4.5 训练 — udmrzn · 2026-07-22
- 【源头】Nanbeige4.2 模型上线,主打循环 Transformer 架构 — snwy_me · 2026-07-23