BigMac 用嵌套流水线同时压住多模态训练显存和空泡
小红书技术REDtech · wechat · 2026-07-22
BigMac 提出了一种用于原生多模态训练的依赖安全嵌套流水线：仍以 LLM 流水线为主干，但只在依赖关系允许的位置插入 encoder 和 generator 计算，从而在尽量不增加 bubble 的同时，把激活显存控制在有界范围内。
文章重点包括：
- 调度与执行解耦：Scheduler 生成全局 operator 表，Executor 再把 LLM、模态模块和通信操作分发到各自后端。
- 对模型代码更透明：算法工程师只需描述模块边界，BigMac 负责 stage 划分、activation/gradient handoff 和通信。
- 配套工具链：提供 profiler、simulator 和可视化，帮助定位 bubble、通信等待和 microbatch 配置问题。
- 实验结果：在两个代表性负载上，相比计算高效基线提速约 1.08–1.1× / 1.6–1.9×（分别对应理解与生成负载中的对比），同时在 batch 增大时保持显存稳定。
「Infra」频道最新
- GLM 上线后又开始试 8×H100 跑 DSv4 Flash — TheZachMueller · 2026-07-22
- Poolside 发布 118B MoE 模型 Laguna S 2.1，支持百万 token 上下文 — nathanbenaich · 2026-07-22
- llama.cpp 在 b10087 版本新增 Laguna XS.2 和 M.1 支持 — LaurentPayot · 2026-07-22
- LightOn Search 在 BrowseComp-Plus 夺得第 5 名，准确率 86.27% — CShorten30 · 2026-07-22
- Nvidia Spectrum 交换机加入 CPO 支持，Lambda 已在测试 — TheZachMueller · 2026-07-22
- Hermes Cloud 支持按需扩容磁盘和 CPU 内存 — Teknium · 2026-07-22