Qwen学会了训练Qwen
DanAiTuning · reddit · 2026-07-14
作者表示，他把 Qwen3.6-35B-A3B 训练成了一个“会用 RL 训练别的模型”的模型：它接到任务后，会自己写完整训练作业，包括环境、奖励、数据集和超参，然后提交到真实 GPU 上执行。
训练方式
- 内层：用 prime-rl 和 verifiers 在真实 GPU 上训练小型 Qwen（0.6B / 1.7B）
- 外层：再用 Tinker 对这个训练器本身做 RL，让“训练后的小模型变强”作为奖励
- 一共设计了 6 类任务，其中 1 类完全留作泛化测试
结果
- 外层 episode reward 从约 0.0 提升到峰值约 0.63，背后约有 1750 次真实训练作业
- 在没见过的任务族上也出现迁移，说明不是纯记忆
- 训练器学会了更多使用 1.7B 基座、也开始真正利用超参空间
- 全部成本约 $1.3k，单次内层训练大约 $0.13–0.30
作者把仓库、任务族、奖励代码、GPU 调度和复盘都开源了。
所属事件:开发者用RL训练Qwen实现AI自主训练AI(2 条相关)→
「研究」频道最新
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- 研究者发现「Forking」现象：训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
- DeepMind 试点全球首个双盲 AI 评测，密码学隔离防基准污染 — scychan_brains · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- FLASH 仿真框架：单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26
- LEMON 监控器:从注意力图零样本识别未见过的 LLM 幻觉与越狱 — yoavartzi · 2026-10-26