KAIST ReMo:跨模态压缩冗余视觉 token,免训练降低全模态 LLM 推理成本
kaist-ai · hf · 2026-11-19
KAIST 与牛津大学合作发布 ReMo,一个免训练框架,降低全模态大语言模型(Omni-LLM)推理时的输入 token 成本。
- 动机:Omni-LLM 联合推理音频、视频与文本,但三路输入成本极不均衡——视觉 token 占输入绝大部分且高度冗余。
- 方法:通过跨模态对齐压缩冗余视觉 token——只有当某视觉 token 的信息在其他任何模态/视觉 token 中都不存在时才保留;并用紧凑文本描述替换物体级视觉 token,把视觉信息「重新分配」到音频与文本流。
- 效果:在视听任务上以大幅降低的 token 开销取得与原模型相当的准确率。代码开源。
「多模态」频道最新
- MAVE:从电影镜头重建可编辑 3D 场景,直接在 Blender 内使用 — bdsqlsz · 2026-11-19
- AI复刻龙珠画风:Yung Frieza 恶搞 MV「Planet Vegeta In My Ashtray」 — Top_Brilliant_9587 · 2026-11-19
- GTA6 风格 LoRA 实测:雨夜霓虹质感以假乱真 — freshstart2027 · 2026-11-19
- VAE Rhythm:利用解码周期性痕迹检测 AI 生成视频 — showlab · 2026-11-19
- 新加坡国立大学 Jeveration:冻结 VLM 单次前向即可生成图像 — NUS-DSA3101 · 2026-11-19
- AI 视频生成实现不可能机位,作者附提示词 — umesh_ai · 2026-11-19