全球首次：递归自我改进进入前沿预训练，开源 30B 模型超 Qwen3
dair_ai · x · 2026-11-12
SII & Xin xu AI 发布论文《No Second Run: Does RSI Stop at Frontier Pre-training?》，宣称全球首次将递归自我改进（RSI）应用于从零开始的前沿预训练全流程。
核心思路：
- 此前 RSI 工作都集中在后训练：单次运行可重复、有可验证分数、成本低
- 预训练恰好相反：一次运行耗数十万 GPU 小时且不可重复，没有单一分数可读，需改进的是整个生产与组织系统
- 因此他们将预训练循环拆成多个能闭合的小循环：agent 调试基础设施和数据、用小型 SFT 验证后训练余量、把专家判断转成数据管线的指标，并用共享上下文存储跨团队保留负面结果
成果：
- 开源 30B-A3B MoE 基座模型 801-30B-A3B（11.8T token、3 个月训练），基座成绩超过 Qwen3-30B-A3B 和 Nemotron-3.5-Lightning-30B-A3B，仅次于更大的 Qwen3.5-35B-A3B
- 仅 6B token 的轻量 SFT、无 RL，就在 4 个 agentic 基准上取得开源模型最高分，包括超越 Qwen3.5-35B-A3B
- 开源基座与 SFT 数据：github.com/GAIR-NLP/801-30B
「Infra」频道最新
- 小模型也能扛复杂指令：Qwen3.8-Flash 展示本地 AI 新可能 — Express_Quail_1493 · 2026-11-13
- Nebius 财报细看：GPU 时薪涨超 20%，九成合同价值含预付 — tengyanAI · 2026-11-13
- 黄仁勋辞职传闻引爆讨论：NVIDIA 游戏显卡何去何从 — wen_ragnarok · 2026-11-12
- 印度 IndiaAI 入围云商五家无数据中心，丧失投标资格 — kingslyj · 2026-11-12
- 初创公司将 Apple M5 Ultra 512GB 集群做成弹性算力卖给 Agent — awnihannun · 2026-11-12
- 英伟达因 H20 出口管制计提 45 亿美元库存与采购损失 — heyshrutimishra · 2026-11-12