Liquid AI 提出 Antidoom：定向训练把推理模型死循环率从 10.2% 降至 1.4%

maximelabonne · x · 2026-11-03

Liquid AI 发布博客，介绍解决推理模型「doom loop」（死循环）问题的新方法 Antidoom。

问题：推理时模型反复输出同一段话（如「Wait, let me reconsider…」）直到上下文耗尽；小推理模型在长思维链和难题上尤其高发。LFM2.5-2.6B 早期 checkpoint 在高难度数学/编码提示上有 10.2% 的补全产生重复循环；
现有方案的缺陷：repetitionpenalty 是权宜之计且损害性能；RL 需要精细的奖励设计和昂贵的在线 rollout；
方法：定位启动循环的那个具体 token，用 Final Token Preference Optimization（FTPO）改造 Antislop，只在单一位置训练模型偏好连贯的备选 token，其余分布基本不动；
结果：循环率从 10.2% 降到 1.4%，且各评测分数因循环减少而全面提升。

文章还剖析了死循环的三种成因机制，包括过训练 token（如「delve」）与不确定性叠加等。

「模型」频道最新