Qwen学会了训练Qwen
DanAiTuning · reddit · 2026-07-14
作者表示，他把 Qwen3.6-35B-A3B 训练成了一个“会用 RL 训练别的模型”的模型：它接到任务后，会自己写完整训练作业，包括环境、奖励、数据集和超参，然后提交到真实 GPU 上执行。
训练方式
- 内层：用 prime-rl 和 verifiers 在真实 GPU 上训练小型 Qwen（0.6B / 1.7B）
- 外层：再用 Tinker 对这个训练器本身做 RL，让“训练后的小模型变强”作为奖励
- 一共设计了 6 类任务，其中 1 类完全留作泛化测试
结果
- 外层 episode reward 从约 0.0 提升到峰值约 0.63，背后约有 1750 次真实训练作业
- 在没见过的任务族上也出现迁移，说明不是纯记忆
- 训练器学会了更多使用 1.7B 基座、也开始真正利用超参空间
- 全部成本约 $1.3k，单次内层训练大约 $0.13–0.30
作者把仓库、任务族、奖励代码、GPU 调度和复盘都开源了。
所属事件:开发者用RL训练Qwen实现AI自主训练AI(2 条相关)→
「研究」频道最新
- 社会学家 Harry Collins：LLM 无法发明新语言，做不了前沿科学 — whoamisri · 2026-09-11
- 「Waymo 效应」：AI 正在悄悄让科研协作变少 — JohnHammersley · 2026-09-11
- HF 工程师争论:非生成任务全用因果注意力是在浪费算力 — antoine_chaffin · 2026-09-11
- 智利学者：AI 反馈规模化是医学教育可持续的关键 — julianvarascom · 2026-09-11
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- SignNet 1M 手语数据集发布 — ducha_aiki · 2026-09-11