研究发现 DPO 训练下的 rank 效应反转
nhaghtal · x · 2026-07-09
这条转发讨论了一个关于 rank 效应的研究结果：在第一种设置中，随着 rank 提升，迁移效果会下降；但在第二种设置里，若不是用 SFT 训练数列，而是基于 Aden-Ali 等人的偏好对做 DPO 训练，迁移效果会随着 rank 提升而增强，出现相反趋势。
nhaghtal · x · 2026-07-09
这条转发讨论了一个关于 rank 效应的研究结果：在第一种设置中，随着 rank 提升，迁移效果会下降；但在第二种设置里，若不是用 SFT 训练数列，而是基于 Aden-Ali 等人的偏好对做 DPO 训练，迁移效果会随着 rank 提升而增强，出现相反趋势。