RL为何能提升SFT后的推理
burny_tech · x · 2026-07-12
这条转发在解释一篇论文对“为什么 RL 会在 SFT 之后改善推理”的看法： - SFT 往往直接给出完整解题过程，但其中真正有用的部分会被混在一起，模型学到的是一团难以拆分的整体。 - RL 通过奖励引导下的变异，帮助模型把这些信息拆成更可复用的技能和路由规则。 - 这样之后，模型就能在 SFT 没见过的新问题上，把这些技能重新组合起来。
burny_tech · x · 2026-07-12
这条转发在解释一篇论文对“为什么 RL 会在 SFT 之后改善推理”的看法： - SFT 往往直接给出完整解题过程，但其中真正有用的部分会被混在一起，模型学到的是一团难以拆分的整体。 - RL 通过奖励引导下的变异，帮助模型把这些信息拆成更可复用的技能和路由规则。 - 这样之后，模型就能在 SFT 没见过的新问题上，把这些技能重新组合起来。