Not All Prompts Are Equal: Exploration-Guided Prompt Scaffolding for Multimodal Reinforcement Post-Training
Yuanhao Yue, Qianli Ma, Chengyu Wang, Haoting Wang, Lei Shen, Jun Huang
EMNLP 2026 main conference
cs.LG, cs.AI, cs.CL
2026-09-14
用EPS找出对当前策略没用的训练题,教师改写成脚手架再喂GRPO,MMK12上2B域内相对涨9.7%。
在线 RL 后训练默认每道题同等重要。对当前策略来说,有的题已经饱和,梯度几乎没了;有的题全面失败,奖励全是噪声。夹在中间、有对有错的题才有用。多模态模型里,难度还跟图和文字绑在一起,题的价值会随策略变:今天有信息的题,过两天可能废掉。
常见蒸馏是让学生模仿教师输出。在线 RL 吃的是自己的 rollout,更缺的是还能学的题,不是再抄一份标准答案。
Exploration Potential Score(EPS)从 KL 正则策略改进来:理想值是局部改进策略的期望奖励减去当前策略的期望奖励。实现上不另开模型,直接用 GRPO 已经采好的 N 条 rollout。把奖励做 softmax 加权再减组内均值,得到一个在线排序信号。高 EPS 表示近期还有改进空间,低 EPS 表示饱和或当前太难。
框架维持动态题库,三步循环:用 EPS 打分;低分题连同学生回答和奖励交给教师,改写成保留原题意图的脚手架;改写题再注回题库。教师是 Qwen-VL-Max,默认阈值 τ=0。实现里教师能看到参考答案,提示要求不直接泄露最终答案,所以这是有教师辅助的训练,不是无答案脚手架。
实验先在 OmniThoughtV4 的 50 万多模态推理题上 SFT,再分别在 Geometry3K 和 MMK12 上跑 3000 步 GRPO。骨干是 Qwen3-VL-2B 和 4B,每题 8 条样本,8 卡 FSDP。对照是同一套 RL、不做 EPS、不改写。
MMK12 上 2B 域内 51.40→56.40,相对提升 9.7%;OOD 均分 39.50→42.83。MathVision 28.62→31.91(相对 11.5%),MMMU-Pro 36.59→40.64(相对 11.1%)。4B 域内 68.05→71.15,MathVision 41.78→44.41。
Geometry3K 上 2B 域内 55.41→59.07,OOD 均分 39.59→41.47;4B 域内 60.57→65.39。MMK12 训练出的 OOD 均分略高于 Geometry3K,更大更杂的题库给改写留了更多空间。
前 1000 步的拆分里,只训 EPS≥0.5 的题到 44.85%,只训 0<EPS<0.5 到 39.55%,EPS>0 全体到 46.00%。相对未过滤题库,去掉近零 EPS 有 4.10 分差距。脚手架刷新后优势估计更稳地为正,验证曲线在第一次题库刷新后抬到 GRPO 之上并保持。
把教师从「写标准答案」改成「改训练条件」,和在线 RL 的学习信号更合拍。EPS 几乎零额外采样,能嵌进现有 GRPO 循环。对在小模型上做视觉数学 RL 的人,这是渐进但可复用的数据飞轮:先过滤废题,再把废题改成当前策略吃得动的中间题,而不是把难题直接丢掉。
教师看得到参考答案,收益里有多少来自答案泄漏式提示,论文没有无答案对照。骨干停在 2B/4B,教师固定 Qwen-VL-Max,任务以几何和多模态数学为主。主表只打 GRPO,没有和 GHPO 这类给难题加 hint 的方法同场。EPS 被写成在线排序信号,不是对未来可学性的校准估计;τ=0 是默认,不是扫出来的最优。OOD 用 Qwen3-VL-Plus 当评判,和训练奖励器不是同一套。