TREK框架通过蒸馏驱动探索提升GRPO表现

TREK是一种新型策略优化框架,旨在解决GRPO在困难任务中的探索不足问题。其核心创新是将知识蒸馏用于探索阶段而非传统模仿阶段,当学生模型反复采样错误路径时,引入教师模型或带额外上下文的同模型寻找经过验证的正确解,再只教授最有价值的样本。该方法在数学与Agent任务上表现均有提升。

2026-07-08 ~ 2026-07-10 · 2 条相关