复旦等发布 BridgeWAM:桥接查询解耦视频与动作专家,推理提速 2.47 倍

Fudan-University · hf · 2026-10-19

复旦联合清华、北大等团队提出 Bridge-of-Experts(BridgeWAM),改进世界动作模型(WAM)。现有方法通过稠密的逐层 MoT 注意力耦合视频与动作专家,导致动作预测受无关视觉特征干扰且需专家深度匹配、计算冗余。BridgeWAM 用 32 个共享潜在桥接查询(LBQ)聚合视觉、语言与本体感知先验,实现两专家解耦:动作梯度引导视频专家表征,动作专家经交叉注意力选择性检索任务相关信息。

模型仅 5.06B 参数(30 层视频专家+2 层动作专家),在 LIBERO 上达 98.25% 成功率、LIBERO-Plus 上达 72.24%,泛化性强。相比 Fast-WAM,单样本推理 FLOP 降低 28.72%,真机延迟降至 77.1ms(2.47 倍加速)。