研究发现循环 Transformer 也会「过度思考」并给出修复

新论文 InfiLoop 指出,循环 Transformer 与推理 LLM 一样存在「过度思考」问题:理论上循环次数越多性能应越好,实践中性能反而常常下降,且答案收敛后循环仍在空耗算力。研究团队将这一现象命名为 latent overthinking(潜在过度思考),定位了其成因并给出修复方案,LightOn 团队也对该论文进行了转发推介。

2026-10-19 ~ 2026-10-19 · 2 条相关