BigMac 用嵌套流水线提速多模态训练最高 1.9 倍
机器之心 · wechat · 2026-07-24
BigMac 用嵌套流水线打破多模态训练的算力-显存两难
机器之心介绍了原生多模场景下的流水并行训练新范式 BigMac。它把成熟的 LLM 流水线作为主干，在不打乱原有执行顺序的前提下，将编码器和生成器计算依赖安全地嵌入进去，尽量同时保住吞吐和显存。
- 传统多模态训练通常只能二选一：要么把模态模块从 LLM 流水中拆开，减少 bubble 但堆高 activation 显存；要么把所有模块塞进同一条 pipeline，显存更省却容易因为跨模块等待产生停顿。
- BigMac 的核心是 nested pipeline：先稳定 LLM 的 1F1B / interleaved 1F1B 调度，再把 encoder / generator 放进“不会打乱 LLM 顺序”的位置，从而让模态激活更早释放。
- 系统层面还提供了全局调度表、对算法工程师透明的接口，以及 profiler / simulator / 可视化工具，方便定位 bubble、通信等待和模块交接瓶颈。
- 在两个代表性负载上，论文报告训练速度相对基线提升 1.08～1.9 倍，并且在 global batch size 增大时保持稳定显存占用。
所属事件:BigMac 嵌套流水线突破多模态训练瓶颈(2 条相关)→
「Infra」频道最新
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Neon 自吃狗粮：文档搜索全部改用自家 Lakebase Search 等 AI 组件 — matei_zaharia · 2026-10-27
- PyTorch 实测:ExecuTorch+Arm SME2 让端侧流式语音识别提速 2.12 倍 — PyTorch · 2026-10-27
- NVIDIA 演示投机解码加速 Jetson 端侧 LLM 推理 — NVIDIA Developer · 2026-10-27
- 单 GPU 收入可随降价上升：Gavin Baker 拆解 token 价格与利润率的算术 — GavinSBaker · 2026-10-27