FTPO 训练法将小模型“厄运循环”率从 10.2% 降至 1.4%
helloiamleonie · x · 2026-09-15
Liquid AI 发布博客并开源了 "Antidoom" 训练方法，解决小推理模型在难题上反复输出 "Wait, let me reconsider…" 等片段直至耗尽上下文的 "doom loop"（厄运循环）问题。
方法要点
- 常见的 repetitionpenalty 只是推理时打补丁，可能损害性能；强化学习又需要精细奖励和昂贵的在线 rollout。
- FTPO（Final Token Preference Optimization）：定位触发循环的那个确切 token，只在该位置用 chosen/rejected 偏好对训练模型选择连贯的替代 token，其余分布基本不动。方法改编自 Antislop。
- 基于 TRL 实现自定义 DPOTrainer，代码与教程均已开源。
效果：在 LFM2.5-2.6B 早期 checkpoint 上，困难数学与编码题的循环率从 10.2% 降到 1.4%，且各项评测成绩因循环减少而全面提升。
所属事件:Liquid AI 开源 FTPO 训练法破解小模型厄运循环(2 条相关)→
「模型」频道最新
- 同一个任务两种「质感」：RL 过拟合模型与通用智能的手感差异 — theteknosaur · 2026-11-02
- LightOnOCR-3 发布：单一模型搞定转录、版面与图表解析 — IgorCarron · 2026-11-02
- NVIDIA Kumo 家族拆解：四款表格基础模型各管一类结构化数据 — pandeyparul · 2026-11-02
- SemiAnalysis：选模型别忽视安全分类器，Meta 网络安全模型居首 — ThomasScialom · 2026-11-02
- Reddit 用户盛赞 DeepSeek V4.1 Flash 1017：快、稳、便宜到可弃闭源模型 — _bachrc · 2026-11-02
- 本地量化模型对决 Claude：9 个真实 bug 修复实测，量化掉分更掉时间 — FeydRowan · 2026-11-02