Luma 发布 MARBLE:打包多模态序列的精确序列并行,48 项测试胜 47 项
mrjonfinger · x · 2026-10-20
Luma 发布 MARBLE,针对打包多模态序列(packed multimodal masks)的精确序列并行方案。核心思路是为每一层按负载自动选择并行策略:负载均衡的 ring attention(配合 PTRR)、在线 FlashAttention-4 内核、分块 ring attention 或稀疏 all-to-all(Ulysses 式)。
「Infra」频道最新
- PFN 携手 Tenstorrent 研发光电融合 xPU,获 NEDO 立项至 2031 年 — DavidBennett__ · 2026-10-20
- 铜通孔内嵌金刚石提升导热,碳基芯片散热新思路亮相 — jwt0625 · 2026-10-20
- Physis 发布世界基础模型公司并推出推理系统 PhysisServe，将并入 vLLM-Omni — vllm_project · 2026-10-20
- 巴塞罗那超算中心 AI Factory 加速器选出三家 AI Champions — NVIDIA Blog · 2026-10-20
- 双 R9700 按层拆分跑大模型:单卡负载降至 50% 风扇静音 — yahbluez · 2026-10-20
- PyTorch 大会将展示 KV 缓存跨层调度：CPU 还是共享存储更划算 — PyTorch · 2026-10-20