连续潜空间推理兴起,挑战逐 token 思维链
近期多篇研究探讨了“潜在推理”机制,主张将传统的基于文本 token 的思维链迁移到连续的隐藏状态空间中完成。该路线被视为现有推理模式的替代方案,其核心优势在于将计算过程从可见的文本生成转移到模型内部的连续潜空间进行,尤其侧重于搜索型任务的优化,为提升大模型推理效率提供了新方向。
2026-07-28 ~ 2026-07-29 · 2 条相关
- latent reasoning 可能把逐 token 推理改成隐藏状态计算 — TheTuringPost · 2026-07-28
- Coconut 把推理搬进连续潜空间,主打搜索型任务 — PMinervini · 2026-07-29