BigMac 用嵌套流水线同时压住多模态训练显存和空泡
小红书技术REDtech · wechat · 2026-07-22
BigMac 提出了一种用于原生多模态训练的依赖安全嵌套流水线：仍以 LLM 流水线为主干，但只在依赖关系允许的位置插入 encoder 和 generator 计算，从而在尽量不增加 bubble 的同时，把激活显存控制在有界范围内。
文章重点包括：
- 调度与执行解耦：Scheduler 生成全局 operator 表，Executor 再把 LLM、模态模块和通信操作分发到各自后端。
- 对模型代码更透明：算法工程师只需描述模块边界，BigMac 负责 stage 划分、activation/gradient handoff 和通信。
- 配套工具链：提供 profiler、simulator 和可视化，帮助定位 bubble、通信等待和 microbatch 配置问题。
- 实验结果：在两个代表性负载上，相比计算高效基线提速约 1.08–1.1× / 1.6–1.9×（分别对应理解与生成负载中的对比），同时在 batch 增大时保持显存稳定。
所属事件:BigMac 嵌套流水线突破多模态训练瓶颈(2 条相关)→
「Infra」频道最新
- AI 工程师必懂的 12 种 KV Cache 压缩技术一文讲透 — blaizedsouza · 2026-09-11
- 影子算力市场走向台前,Meta 对外出售过剩 GPU 算力成标志性信号 — DavidLinthicum · 2026-09-11
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- 劝退帖:推理工程是真金白银的硬活,八成尝鲜者已悄然放弃 — abhijithneil · 2026-09-11
- Hugging Face《Ultra Scale Playbook》:GPU 集群训练 LLM 的免费技术书 — mdancho84 · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11