BigMac 嵌套流水线突破多模态训练瓶颈

针对原生多模态训练中面临的算力与显存两难问题，机器之心介绍了名为 BigMac 的流水并行训练新范式。该方法以成熟的 LLM 流水线为主干，在不打乱原有结构的前提下，仅在依赖关系允许的安全位置插入 encoder 和 generator 计算。这种依赖安全的嵌套流水线设计，有效减少了显存空泡，使多模态训练速度最高提升了 1.9 倍。

2026-07-22 ~ 2026-07-24 · 2 条相关