用任务条件吸引子解释迭代推理:模型泛化而非死记的机制研究
burkov · x · 2026-09-08
这项研究试图回答一个核心问题:迭代推理模型在推理时通过增加计算量提升性能,但它们内部靠什么机制实现泛化而非单纯记忆。
核心假设
- 提出模型学习「任务条件吸引子」(task-conditioned attractors)——潜空间动力系统中对应有效解的稳定点
- 可泛化的迭代推理正是在吸引子形成时涌现
- 研究方法可主动塑造这些吸引子
实验设计
- 在 Sudoku-Extreme 和唯一解迷宫任务上做受控实验
- 从前馈基线出发,逐步引入 weight-tied 迭代、不同监督调度、层次结构等要素
意义:研究测试时计算(test-time compute)扩展如何在没有外部验证器或任务特定规则的情况下可靠地扩展推理能力,对理解循环模型的内部动力学有直接价值。
「研究」频道最新
- 传GPT-6 Astra解决三次曲面Cassels-Swinnerton-Dyer猜想 — littmath · 2026-09-08
- Prefix Sliding:丢弃中间推理token,免训练降测试时计算 — burkov · 2026-09-08
- 一篇长文构建分布式计算统一心智模型：K8s、Slurm、Ray、Spark — ArchitectingAI · 2026-09-08
- ECCV 2026 OpenSUN3D 工作坊聚焦开放世界3D场景理解 — orlitany · 2026-09-08
- MiTaS 融合快慢触觉感知,机器人操作成功率 80% 对 31% — Jan_R_Peters · 2026-09-08
- 零成本预测可训练性:一次前向传播挑出更优超参,快 3.4 倍 — Bulky-Pack8781 · 2026-09-08