OPSD塌缩时可试优势估计器
willccbb · x · 2026-07-11
作者分享了一个在 **OPSD** 训练里排查 **model collapse** 的实用技巧： - 当训练过程反复出现塌缩时，先尝试 **移除 hinted logprob ratio**。 - 再把它 **替换成 advantage estimator**。 这条信息虽然简短，但提供了明确的故障定位与替代方案，属于可直接参考的训练调试建议。
willccbb · x · 2026-07-11
作者分享了一个在 **OPSD** 训练里排查 **model collapse** 的实用技巧： - 当训练过程反复出现塌缩时，先尝试 **移除 hinted logprob ratio**。 - 再把它 **替换成 advantage estimator**。 这条信息虽然简短，但提供了明确的故障定位与替代方案，属于可直接参考的训练调试建议。