Chat模板换行无损失信号，导致模型采样时可能破坏模板

kalomaze · x · 2026-08-16

技术讨论指出，在训练时chat template条件化在一个换行符上，但该换行符不是损失标签；生成模板从换行符之前开始，且换行符本身没有损失信号，因此模型没有学习到在该位置避免采样破坏模板的token。这可能导致生成时模板被破坏。

原文链接 →

「研究」频道最新

• 港中文VideoCoCo：代码当思维链，文生视频懂物理 — 机器之心 · 2026-08-16
• 开源代理NullOrigin可实时去除LLM输出中的KGW水印 — theawkwardbong · 2026-08-16
• AI文本水印原理与规避方法详解：Anthropic等公司已采用 — SpiritRealistic8174 · 2026-08-16
• 病毒AI引发生物安全激辩：制造大流行易，防御需数月 — anshulkundaje · 2026-08-16
• ORBIT 训练范式：提升时序基础模型零样本预测能力 — chaumian · 2026-08-16
• Hamilton-Zero：求解量子基态的神经网络基础模型 — burny_tech · 2026-08-16

更多「研究」频道 AI 资讯 →