北大与小红书推出 BigMac：多模态训练提速 1.9 倍且打破内存瓶颈

jiqizhixin · x · 2026-08-04

北京大学、独立研究员及小红书团队联合推出了针对多模态大语言模型的新训练管线 BigMac。该系统巧妙地将编码器和生成器的工作嵌套在标准 LLM 训练流程中，以安全且依赖友好的顺序执行。

这一设计将训练期间的内存需求大幅削减至恒定量级，使得系统在无需无限内存的情况下也能保持全速运转。实验表明，与现有系统相比，BigMac 的训练速度最高可提升 1.9 倍，并且在扩大批处理规模时仍能保持内存使用的稳定，成功打破了多模态 AI 训练中计算与内存之间的帕累托前沿制约。