新论文揭示循环模型也会"过度思考"：答案已定仍空耗算力
jm_alexia · x · 2026-10-19
LightOn 团队转发推介论文 InfiLoop：循环 Transformer（looped models）和推理 LLM 一样存在"过度思考"——答案已经收敛后，循环仍在持续消耗计算，其中大量计算是冗余的，有时甚至有害。团队将这种现象称为 latent overthinking。
研究结论不是"少循环"而是"聪明地循环"：残差连接（residual connection）是循环模型的关键，搞清其机制后可以修复多余循环带来的性能退化。论文与代码已开源。
所属事件:研究发现循环 Transformer 也会「过度思考」并给出修复(2 条相关)→
「研究」频道最新
- SKY-001 号称首个工程世界模型:CAD/BIM 任务比 GPT-6 快 51-125 倍 — vasuman · 2026-10-20
- tangermeme 新增 PackedSequence：2 bit/位点，内存省 16 倍 — jmschreiber91 · 2026-10-20
- 完全在打包空间运算:1 万窗口 shuffle 从 7.86s/8.7GB 降至 0.85s/0.7GB — jmschreiber91 · 2026-10-20
- 为加速 DeepLIFT/SHAP,作者重写双核苷酸 shuffle 避免内存爆炸 — jmschreiber91 · 2026-10-20
- UCSB REAL AI 实验室招博士后：建 AI 自主实验室，可看海 — ninamiolane · 2026-10-20
- UCSB 团队获 NSF 百万美元资助，研究 AI 的数学基础 — ninamiolane · 2026-10-20