60人团队首次将 RSI 用于前沿预训练,3个月训出 30B MoE

arXiv 论文《No Second Run: Does RSI Stop at Frontier Pre-training?》声称首次将递归自我改进(RSI)应用于一次完整的前沿预训练 run。一个 60 人团队仅用 3 个月从头训练出 30B 参数的 MoE 模型,据称基座表现超过 Qwen3。论文指出预训练做 RSI 难度很大,因为一次 run 需要消耗大量资源,几乎无法重来。

2026-11-19 ~ 2026-11-19 · 2 条相关