纯 RL 训出强持续学习 4B 模型，登顶 Continual Learning Bench
aviral_kumar2 · x · 2026-11-13
作者 aviralkumar2 宣布用「在正确课程上施以恰当奖励的纯 RL」训练出 4B 小模型，无需蒸馏或 SFT，在持续学习能力与性能之间取得更优权衡。
在 Continual Learning Bench 的 codebase adaptation 任务上超越所有已报模型，仅落后其自家最新一代前沿模型。该 benchmark 评测的是智能体跨序列任务持续改进的能力，以「Gain」指标衡量系统相对自身无状态基线的提升。
配图榜单显示：未训练的 Qwen3.5-4B 用其 ACT+WRITE 循环仅得 1.33，经 SkillRise 循环训练后达 7.25，最终版达 10.55（Gain +2.27），与 GPT-5.4 ICL（10.14）相当，仍低于 Claude Opus 5.5（17.40）、GPT-6 Astra（17.25）等前沿模型。
「研究」频道最新
- 仅 22 个训练样本发现新晶体:LLM 提规则+主动学习的 AI4Science 范式 — bravo_abad · 2026-11-14
- 陶哲轩:数学已从证明稀缺进入证明过剩时代 — haider1 · 2026-11-14
- Cmpnd 开源 dspy-wsp：花 5-10 美元让 GPT-6 改权重，决策模型全部提分 — dbreunig · 2026-11-14
- 第六届非洲大数据学院开普敦结课:3D CT 肺纤维化预测模型夺魁 — lamechthinkbig · 2026-11-14
- 李博杰开源《深入理解 AI Infra》:从硬件极限推导大模型训练与推理设计 — udmrzn · 2026-11-14
- Russ Tedrake CoRL 演讲:部署数据与大规模预训练结合的价值 — RussTedrake · 2026-11-14