BigMac 用嵌套流水线同时压住多模态训练显存和空泡
小红书技术REDtech · wechat · 2026-07-22
BigMac 提出了一种用于原生多模态训练的依赖安全嵌套流水线：仍以 LLM 流水线为主干，但只在依赖关系允许的位置插入 encoder 和 generator 计算，从而在尽量不增加 bubble 的同时，把激活显存控制在有界范围内。
文章重点包括：
- 调度与执行解耦：Scheduler 生成全局 operator 表，Executor 再把 LLM、模态模块和通信操作分发到各自后端。
- 对模型代码更透明：算法工程师只需描述模块边界，BigMac 负责 stage 划分、activation/gradient handoff 和通信。
- 配套工具链：提供 profiler、simulator 和可视化，帮助定位 bubble、通信等待和 microbatch 配置问题。
- 实验结果：在两个代表性负载上，相比计算高效基线提速约 1.08–1.1× / 1.6–1.9×（分别对应理解与生成负载中的对比），同时在 batch 增大时保持显存稳定。
所属事件:BigMac 嵌套流水线突破多模态训练瓶颈(2 条相关)→
「Infra」频道最新
- Anthropic 营收三年暴涨 4000 倍,上半年已入账 163 亿美元 — daniel_mac8 · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27
- YC 系创企 Hopper 出击语音推理：TTFT 80ms、价格为 GPT-4.1 的 15% — ycombinator · 2026-10-27
- a16z 数据:A100 租赁价格 2026 年仍在涨,旧卡并未贬值 — VraserX · 2026-10-27
- Anthropic S-1 曝超 8000 亿美元未入表的未来算力承诺 — GaryMarcus · 2026-10-27
- Anthropic 约 11GW 算力合同中 NVIDIA GPU 占约 42% — ns123abc · 2026-10-27