Qwen学会了训练Qwen
DanAiTuning · reddit · 2026-07-14
作者表示，他把 **Qwen3.6-35B-A3B** 训练成了一个“会用 RL 训练别的模型”的模型：它接到任务后，会自己写完整训练作业，包括环境、奖励、数据集和超参，然后提交到真实 GPU 上执行。 ### 训练方式 - 内层：用 `prime-rl` 和 verifiers 在真实 GPU 上训练小型 Qwen（0.6B / 1.7B） - 外层：再用 `Tinker` 对这个训练器本身做 RL，让“训练后的小模型变强”作为奖励 - 一共设计了 6 类任务，其中 1 类完全留作泛化测试 ### 结果 - 外层 episode reward 从约 0.0 提升到峰值约 0.63，背后约有 **1750 次**真实训练作业 - 在没见过的任务族上也出现迁移，说明不是纯记忆 - 训练器学会了更多使用 1.7B 基座、也开始真正利用超参空间 - 全部成本约 **$1.3k**，单次内层训练大约 **$0.13–0.30** 作者把仓库、任务族、奖励代码、GPU 调度和复盘都开源了。