用 FiM 模型补全思维链合成 SFT 数据,训练 2B/9B 推理 GAN

cephaloform · x · 2026-09-04

作者分享了一个让模型完成其尚不可靠任务的数据合成技巧,用于训练 2B GAN 的推理判别器:让模型对大量尝试进行采样,用训练好的 FIM(fill-in-the-middle)模型在尝试中补全思维链(CoT),再为一批「金牌」答案填入推理链,然后在合成思维链上做 SFT,再做 RL。

作者还用同样方法处理了 9b 模型,同时作为生成器和判别器:生成器的 SFT 集来自真实文本的 ground truth 补全,推理链由 FIM 模型填充而成。