用贝叶斯视角解读「fork and flush」:重置上下文而非丢弃先验

vishalmisra · x · 2026-10-14

Vishal Misra 在与 Dimitris Papailiou 的讨论中提出,把「fork and flush」理解为对「过度自信后验」的重置:模型从预训练中学到的先验保持不变,而被清空的是把搜索困在单一思路盆地里的累积上下文。

这一观点与「LLM 做的是近似贝叶斯推断」的框架一致——先验强大且引导搜索方向,使其并非随机;而反馈则用于细化并更新搜索过程。换句话说,flush 掉上下文相当于放弃当前探索的局部区域,同时保留模型的通用知识与能力。