不用 LLM 达 37%:1 亿参数循环 Transformer 在 ARC-AGI-2 Kaggle 刷新纪录
rbhar90 · x · 2026-11-12
独立研究者 Mithil Vakde 发布 Looped mdlARC:仅用 ARC 谜题从零训练的 100M 参数自回归 Transformer,在 ARC-AGI-2 Kaggle 上拿到 37.08%,很可能是无 LLM 的最高分,约为全部 746 份 ARC Prize 2026 writeup 中次佳成绩的 3 倍,并超过去年冠军 LLM 方案(NVARC 微调 4B Qwen,27.64%)。曾冲到榜单第 6,后被 Qwen 大模型提交潮反超。
关键点:
- 循环带来惊人收益:8 个 block 中 3-6 号循环跑 6 次,8 块权重产生 28 次 block pass;最后一周加入循环使分数 33%→35%→37%。
- 与 HRM/TRM 不同:不隐藏训练参数,1M 循环模型即可击败旧版 76M 模型;采用 in-context demo pairs 与 Hub-and-Spoke Attention。
- 最终模型严重欠训练、未优化,仍有提升空间。
「研究」频道最新
- 错过 Tedrake CoRL 演讲引热议:部署将是物理 AI 最重要的数据源 — m_wulfmeier · 2026-11-12
- 29M 参数预测式语音识别 Earlybird:词语说完前 90ms 就能猜出 — DrDatta_AIIMS · 2026-11-12
- 无需从头训练：LoRA 冻结语音 LLM 即可实现全双工对话 — kastnerkyle · 2026-11-12
- WICL：单演示+仿真预演让机器人在上下文中学会操作，RoboTwin 全 50 任务成功率达 83.4% — _akhaliq · 2026-11-12
- Epoch：AI 软件进步每年让同等能力所需训练算力降数倍 — datagenproc · 2026-11-12
- 用血染钟楼测模型撒谎：Kimi K3.1 Pro 居开源模型之首，仅次于 GPT 5.5 — eliebakouch · 2026-11-12