RL+蒸馏让 4B 模型追赶 27B：开源环境实测缩小过半差距
Prompt Engineering · youtube · 2026-10-17
Prompt Engineering 频道发布视频，验证开源 RL 环境能否让小模型逼近大模型：在两台 DGX Spark 上用 GRPO+LoRA 训练 Qwen 3.5 4B，以 Kaggle 式小数据任务对比留出考题上的 Qwen 27B。
- 解释 RL 环境三要素（沙盒、工具、checker），强调严格 checker 防 reward hacking；GRPO 只从模型「偶尔做对」的任务学习
- 随机任务收益微弱，筛选「edge 任务」后明显提升，缩小超过一半差距，主要是学会做完题并正确作答
- 继续训练遇瓶颈后，先从 27B 蒸馏再叠加 RL，在未见数据集上取得最佳结果
- 代码、checker、训练脚本与结果开源于 GitHub
「研究」频道最新
- 自然视觉刺激下 V1 神经响应会变「脏」，群体效应是主因 — HistedLab · 2026-10-17
- 神经科学家：大脑几乎每个区域都存在强多义性表征 — HistedLab · 2026-10-17
- Google.org 选出 17 家机构，投入 3600 万美元支持 AI for Science — ymatias · 2026-10-17
- Romik 双手沙发问题最优性被 Lean 4 形式化证明 — IgorCarron · 2026-10-17
- 阿斯利康与 insitro 达成 4000 万美元 AI 药物研发合作 — HealthcareLdr · 2026-10-17
- YC 论文俱乐部对话斯坦福 AI 安全中心主任:从 OpenAI-HF 事件谈到给 AI 设 NTSB — Y Combinator · 2026-10-17