60人团队首次将 RSI 用于前沿预训练,3个月训出 30B MoE
arXiv 论文《No Second Run: Does RSI Stop at Frontier Pre-training?》声称首次将递归自我改进(RSI)应用于一次完整的前沿预训练 run。一个 60 人团队仅用 3 个月从头训练出 30B 参数的 MoE 模型,据称基座表现超过 Qwen3。论文指出预训练做 RSI 难度很大,因为一次 run 需要消耗大量资源,几乎无法重来。
2026-11-19 ~ 2026-11-19 · 2 条相关
- 60人团队首次把 RSI 引入前沿预训练,3个月从头训出 30B MoE — burny_tech · 2026-11-19
- 60人团队首次把 RSI 引入前沿预训练,3个月训出超 Qwen3 的 30B 基座 — burny_tech · 2026-11-19