瞬态混沌或是解难题训练的必然代价:推理成本不可预测
wgilpin0 · x · 2026-09-09
论文作者 William Gilpin 补充解释其发现的实际意义:推理模型普遍存在「过思维」——两个相似 prompt 的推理轨迹长度可相差 10 倍,导致 token 成本差异巨大。作者推测,当训练模型去解难题时,瞬态混沌不可避免:计算难题需要动力学敏感度,代价则是推理成本不可预测。
所属事件:研究用分形盆地理论解释推理模型过度思考(13 条相关)→
「研究」频道最新
- 100 个规则验证器加 300 项任务,团队为视频模型打造可验证 RL 训练配方 — DanielKhashabi · 2026-09-09
- 隐私问题出事才被想起,研究者重提 2022 年差分隐私预训练警示论文 — thegautamkamath · 2026-09-09
- RL 中的局部坏行为不会泛化出「涌现性错位」 — 1a3orn · 2026-09-09
- 思辨:能力 RL 环境中的模型可能学到「能用就用」的最笨启发式 — 1a3orn · 2026-09-09
- 实测拆解 6 年预训练进步:数据贡献 12 倍算力收益,模型仅 3.7 倍 — sebkrier · 2026-09-09
- 论文用知识空间理论测 8 个模型:LLM 数学知识缺乏连贯结构 — dair_ai · 2026-09-09