TREK 改进 GRPO 的探索能力

burny_tech · x · 2026-07-10

帖子介绍论文 TREK：通过解决探索问题，让 GRPO 在困难任务上表现更好。核心思路是当学生模型反复采样错误路径时，引入教师或带额外上下文的同模型去寻找经过验证的正确解，再只教最接近这些正确解的路径，从而改善可采样性并帮助 GRPO 继续优化。