开发者警告归一化概率分数不宜直接作训练信号

开发者 spikedoanz 在讨论中指出，将模型输出的概率分数直接归一化后再用于训练会产生严重缺陷：例如 (0.09, 0.01) 归一化后会与 (0.9, 0.1) 完全相同，丢失了模型的置信度信息。在这种失真信号上训练，尤其是配合 KL 散度损失，可能让模型学到错误模式甚至崩坏。

2026-09-17 ~ 2026-09-17 · 2 条相关

• 归一化后概率信息全丢，开发者争论预测模型训练信号缺陷 — spikedoanz · 2026-09-17
• 归一化让概率信号失真，用 KL 训练恐致模型崩坏 — spikedoanz · 2026-09-17