801-30B-A3B 技术报告:拆解预训练自改进环,11.8 万亿 token 三个月炼成
jiqizhixin · x · 2026-11-21
SII 与 Xinxu AI 发布 801-30B-A3B-Base 及其预训练过程的官方技术报告,回答「无法低成本重跑完整预训练时如何改进预训练流程」这一问题。
- 瓶颈:前沿规模预训练重跑成本极高,单一端到端自改进闭环不现实。
- 机制:将过程拆解为多个小闭环——基础设施调试(内部指标→根因归因)、数据调试(输出模式→数据源/管线归因)、配方环(11T→31T→11.81T token 的试点与主跑,用 Tiny-SFT 衡量学习潜力)、评测集开发、站点发现与爬取覆盖等环;判断后训练 headroom,并把经验转化为可量化指标。
- 上下文基建:跨团队共享上下文记录,连接证据、保留失败尝试及其解释,支持在持续训练运行中做变更。
- 成果:从零训练的 30B-A3B MoE 基座模型,用 11.8 万亿 token、耗时三个月完成,报告同时评测了基座模型与轻量监督模型。
「Infra」频道最新
- SpaceX 贷款方阻拦 400 亿美元 AI 芯片上天:违约收不回抵押品 — basedjensen · 2026-11-21
- Inkling 2 Mini 单张 5090 跑出 613 tok/s 解码,支持 1M 上下文 — jesdga95 · 2026-11-21
- NVIDIA 论文:频繁压缩上下文可省 3.6-7 倍 token 成本 — khademinori · 2026-11-21
- 分析师猜测:OpenAI 多重困境根源是 GPU 算力短缺 — mark_k · 2026-11-21
- 为跑 24/7 智能体系统,研究者自制本地 GPU 服务器替代 Mac mini — nodosenlared · 2026-11-21
- 单卡 RTX 3090 跑出 129.5 tok/s 与 344K 上下文,自研推理引擎对比 llama.cpp 提速 2.3 倍 — teortaxesTex · 2026-11-21