GAIR 首次把 RSI 推进预训练,30B-A3B 基座 3 个月训完并开源
pmttyji · reddit · 2026-11-15
GAIR-NLP 发布论文「No Second Run: Does RSI Stop at Frontier Pre-training?」,声称首次将递归自我改进(RSI)应用于整个前沿规模的预训练并开源结果。
- 核心论点:公开 RSI 工作都只做后训练(便宜、可重复、有可验证分数),而预训练一次消耗数十万 GPU 小时、不可重复、目标(后训练 headroom)无法从单一分数读出。作者把 RSI 分解为多个可闭合的小循环,分别修复完整训练中断裂的环节。
- 成果 801-30B-A3B-Base:30B-A3B MoE,11.8T token 从零训练,3 个月,由新组建团队完成。基座成绩超过 Qwen3-30B-A3B 和 Nemotron-3.5-Lightning-30B-A3B,仅逊于更大的 Qwen3.5-35B-A3B;相同 SFT 下排名保持。配图显示 SFT 后它在 SWE-bench Pro、KernelBench、AA-LCR、AA-OmniScience 四个 agent 基准上平均分领先一众完整后训练模型(如 Qwen3.6-35B-A3B)。
- 开源:基模型即将发布,SFT 数据(6B token,无 RL)已放出。
论文与代码:arXiv 2611.10719、github.com/GAIR-NLP/801-30B。
「模型」频道最新
- ChatGPT 宕机,网友:该休息一下了 — k7agar · 2026-11-15
- strata 更新后 Qwen3.8-Flash-Next 画质崩坏：耗时翻倍还无限思考失败 — Lime-Lemon-7582 · 2026-11-15
- Gemini 4 Carbon 编码实测：4.5 小时完成 16 张票但耗 时远超对手 — every · 2026-11-15
- 模型越大幻觉越重？研究员称幻觉是「特性」需接受 — iruletheworldmo · 2026-11-15
- 解决任意感知任务的五步配方：下午收集数据微调 VLM 即可 — giffmana · 2026-11-15
- 13个月从2.5%到41.3%,最佳AI代理真实远程工作完成率暴涨 — kimmonismus · 2026-11-15