Qwythos-9B-v2 修复循环问题

techlatest_net · reddit · 2026-07-14

Qwythos-9B-v2 GGUF 卡片更新了模型使用说明与改进点：新版本把旧版在 greedy 或低温解码下的循环退化问题训练掉了，作者称循环行为从 6.7% 降到 0%，同时恢复了原生 MTP head，并清理了 identity prompt；知识和推理能力则保持在不低于 base 版本的水平。

训练修复方法叫 FTPO（Final-Token Preference Optimization），核心是只针对“触发重复循环的那个起始 token”做偏好优化，让模型更倾向于选择连贯替代项，而尽量不动其余分布。帖子还给出 llama.cpp、Ollama、LM Studio/jan/KoboldCpp 的加载方式，以及普通文本权重、MTP 权重和图像输入所需的 vision projector 文件列表。