LLMSeg：无需训练让多模态 LLM 直接输出图像分割，测试 21 个模型
ducha_aiki · x · 2026-10-22
KAUST 研究者发布 LLMSeg：把现成的多模态 LLM 变成文本提示分割器，无需训练、无需分割头和 mask 解码器。
- 方法：分割被拆成三个 LLM 驱动阶段——detect 定位所有匹配实例并描述粗略形态；segment 用局限于检测框内的闭合周期 B 样条勾勒外边界与孔洞；refine 迭代地在残差区域提出焦点框并重描。
- 模型只需输出坐标（框与 B 样条控制点）的 JSON，解析、光栅化与停止判定都是确定性代码；每次将叠加 mask 的图像回传给模型进行下一轮。
- 结果：测试了 21 个 MLLM，「视觉+推理」能力越强分割越好；任何「像样」的 MLLM 都能做分割。B 样条迭代确实会收敛到更精确的 mask。
- 论文、代码、网站均已开放。
「多模态」频道最新
- 会说话的猫和主人吵早餐,还偷偷用她妈手机号使坏 — azed_ai · 2026-10-22
- 双色调 Brad Pitt 人像带完整 Midjourney 提示词 — michaelrabone · 2026-10-22
- Midjourney 创作者分享象头旅人线稿 SREF 风格码与构图解析 — tisch_eins · 2026-10-22
- Seedance 2.5 视频实测:平衡物理演算惊艳,重力表现真实 — CurieuxExplorer · 2026-10-22
- 用 Dreamina 做 4 分钟 AI 恐怖短片《OPEN UP》 — AnduinHammerson · 2026-10-22
- AI 生成「与恐怖小丑约会之夜」视频，恐怖谷拉满 — Tz-bz · 2026-10-22