InfiLoop:循环注意力残差让7M小模型跑2万步推理,数独97.9%
Pengxiang Li · hf · 2026-10-09
- 问题:循环 Transformer(looped Transformer)迭代次数增多反而可能掉准确率——噪声状态更新会覆盖正确的中间推理、甚至撤销已完成的解,早期循环的误差经递归长程传播后难以纠正。
- 方案:提出 InfiLoop,一种 loop-native 残差连接,学习保留哪些历史计算、接受多少新更新;结合基于内容的加权与可学习时间衰减维护递归状态摘要,精确流式递归让聚合记忆不随循环数增长,抑制不可靠更新、保留有用中间状态。
- 结果:仅 7M 参数即超过现有递归架构,Sudoku-Extreme 达 97.9% 精确率,ARC-AGI-2 达 13.6% pass@2;在 Sudoku-Extreme 上持续推理超过 20,000 步仍能提升,表明加深测试时循环可直接转化为更强推理。代码已开源。
「模型」频道最新
- moyix 感叹「半人马时代」将随 OpenAI 数学结果走向终结 — moyix · 2026-10-09
- Agent Arena 榜单：Claude Opus 5.5 居首，GPT 6 Astra 紧随其后 — arena · 2026-10-09
- 同一提示词关闭思考模式后模型表现立现落差 — umesh_ai · 2026-10-09
- 审计 162 个大模型跑分差距:仅 20 个能真正区分高下 — maverick_man1111 · 2026-10-09
- Qwen3.8-Max/Flash 与 Wan3.0 开放一周免费,三模型提额 — Alibaba_Qwen · 2026-10-09
- 字节 Seed 团队发现 DeepSeek 性能漂移问题，知乎解析走红 — teortaxesTex · 2026-10-09