长文后半段循环元凶是采样器：NeurIPS 论文为模型洗冤
menhguin · x · 2026-09-28
研究者宣布其关于长上下文采样的论文被 NeurIPS 2026 接收。他们发现：让开源模型写很长的故事时，后半段往往早早陷入重复循环，远在上下文耗尽之前。人们通常归咎于模型能力或训练数据，但研究表明很大一部分原因其实是采样器本身—— thread 后续解释 top-p 采样在尾部会让模型每步都锁定排名第 1 的词形成循环，而自适应采样器可避免；作者建议在花更多训练成本修复长输出之前，先检查采样设置，并提问该现象是否也适用于长程 agentic 编码任务。
「模型」频道最新
- 网友猜 OpenAI 新 Agent 命名：盼复活「Orion」而非「o.」 — brandon_galang · 2026-09-28
- 普林斯顿教授纠错:Ember 与 GLM 根本不在 Pareto 前沿上 — random_walker · 2026-09-28
- 用户抱怨 Claude 每两三天就强制要求重新登录 — weswinder · 2026-09-28
- Naive 发布 309B-A15.5B 混合专家模型:主打编码,1M 上下文 — nullmove · 2026-09-28
- 「tokens」可无限膨胀缩水：Opus 定价暗示 Anthropic 认清商品化现实 — StewartalsopIII · 2026-09-28
- Benchmark Heaven 上线 10 天访问破 13 万，主打成本-能力对比 — airesearch12 · 2026-09-28