清华提出 STAMPlus：一次推理解决多模态分割三难困境
Tsinghua · hf · 2026-08-05
清华大学提出针对多模态大模型（MLLM）分割任务的新架构 STAMPlus，解决了现有方法在分割性能、对话能力和推理速度之间的“三难困境”。
- 核心创新：提出结构化全掩码预测，将自回归对话与非自回归掩码预测解耦。它能在一次前向传播中联合预测所有目标。
- 能力拓展：单一统一模型不仅能保持原有的指代分割和推理分割能力，还扩展到了开放词汇语义分割、实例感知分割以及遥感小目标分割。
- 性能提升：在保持多模态指令遵循能力的同时，将 12 类目标的推理延迟从 13.50 秒大幅降至 5.16 秒。
「多模态」频道最新
- Dual SAM3 + 接缝遮罩：4K 全景 3DGS 重建工作流 — janusch_patas · 2026-08-05
- Hermes Desktop 结合 ComfyUI 实战：让 AI 自动修复工作流报错 — Birdinhandandbush · 2026-08-05
- AI 输出模仿人类手写笔记，支持涂抹与图表流式渲染 — op7418 · 2026-08-05
- ComfyUI 实用脚本推荐：任务完成自动声音提醒 — RPGstarDestroyer · 2026-08-05
- V2N 系统：基于视觉的多任务钢琴全量音符转录 — PianoVAM · 2026-08-05
- Kyutai 推出 Muscriptor：高精度音频转 MIDI 模型 — huggingface · 2026-08-05