研究称长文循环元凶是采样器而非模型本身

一篇获 NeurIPS 2026 接收的论文指出，开源模型写长故事时后半段常提前陷入重复循环，人们通常归咎于模型能力或训练不足，但真正原因是 top-p 采样在文本尾部退化，使模型每一步都锁死排名第 1 的首选词，这正构成循环的定义。作者建议在投入更多训练成本修复长输出之前先检查采样器，并提出该现象是否也适用于长程 agentic 编码任务的后续问题。

2026-09-28 ~ 2026-09-28 · 3 条相关

• top-p 采样尾部退化：模型每步都锁死首选词导致循环 — ziv_ravid · 2026-09-28
• 修长文循环先查采样器：团队提出 agentic 编码新问题 — ziv_ravid · 2026-09-28
• 长文后半段循环元凶是采样器：NeurIPS 论文为模型洗冤 — menhguin · 2026-09-28