LoopVL 用 1B 参数循环复用 32 层,5/8 基准胜 4B 模型
jiqizhixin · x · 2026-10-29
人大、百度、上海交大、清华等团队推出 LoopVL:与其堆大参数,不如让同样的参数“再看一遍”。
- 瓶颈:简单重复模块只在模型对图像的理解真正发生变化时才有用;固定不变的视觉特征会导致每一遍都漏掉同样的证据。
- 机制:LoopVL 通过两层嵌套循环反复更新共享的视觉-语言状态,约 1B 的语言骨干把 32 个独特 Transformer 层复用为 128 次层调用,让视觉注意力随内部推理推进而转移(架构图见配图)。
- 结果:在共享 0.14T 训练 token 预算下,LoopVL 在 8 个受控基准中的 5 个上同时击败约 4B 的深版和宽版基线:RealWorldQA 达 70.98(对比 66.54/66.01),MathVision 达 38.49(对比 35.xx)。
「模型」频道最新
- 曝 Google 发布 Gemini 4 Carbon,登顶 AA 智能指数 59.4 分 — lyraxana · 2026-10-29
- Gemini 4 Carbon 登 Vals 榜第二,拿下金融与法律双第一 — zacharynado · 2026-10-29
- Paper Instruments 发布 Ultramarine 1 Flash:跑分超主流旗舰,成本低至 1/60 — baseten · 2026-10-29
- Gemini 4 竟"证明"了近半数给定的错误定理 — RishabJainK · 2026-10-29
- Sentdex:DeepSeek v4.1 Flash 成他本地生成 token 最多的模型 — Sentdex · 2026-10-29
- 体验者赞 Fable 5 兼具科学深度与讲故事的热情 — repligate · 2026-10-29