LLMSeg: Training-Free Text-Prompted Image Segmentation with B-Splines
Abdullah Hamdi
cs.CV, cs.AI
2026-10-21
把多模态 LLM 冻结,让它以文本形式直接输出 B 样条掩码几何,零训练在 ReasonSeg 拿 71.5 cIoU,十个指称/推理分割 split 多数超过专有模型 SAM 3。
文本提示分割(给一句话、输出所有匹配目标的像素掩码)一直是专有模型的领地。SAM 系列演进到 SAM 3,靠专门的检测-跟踪架构加一套大规模人机协同数据引擎。多模态大模型(MLLM)虽有目标定位、计数这类通用视觉能力,业界却默认它要出密集掩码就必须外挂训练过的分割解码器,LISA、GLaMM 都是这条路。这篇问得更直接:把 MLLM 冻结,不接分割头,不训练,分割能不能做?结论是能,且在一批基准上反超专有模型。
LLMSeg 唯一的视觉组件是现成的冻结 MLLM(主结果用 Gemini-3.7-Flash),三段流程,每段只是一次结构化 JSON 调用:
选 B 样条是有算计的:少量控制点短到能当文本输出;每个点只影响邻近几段,错一个点坏的是局部弧段而非整条曲线;曲线锁在框内,检测质量构成分割质量的上限,误差不会扩散到全图。精修环节等于让模型看自己渲染的叠加图,自己改自己的边界。
| 基准 | 指标 | LLMSeg | SAM 3 | SAM 3 Agent |
| ReasonSeg val | cIoU | 71.5 | 9.9 | 62.0 |
| ReasonSeg test | cIoU | 65.8 | 11.3 | 63.2 |
| RefCOCO testB | cIoU | 76.0 | – | 75.5 |
| LVIS | cgF1 | 53.9 | 50.1 | 51.0 |
| LVIS | mask AP | 47.2 | 62.2 | 50.9 |
| Cityscapes | mIoU | 53.3 | 63.7 | – |
| RF-100VL | AP0 | 31.4 | 14.2 | – |
SAM 3 Agent 与 LLMSeg 用同一个 Gemini-3.7-Flash 后端。SAM 3 纯文本提示在推理型查询上失效,ReasonSeg val 只有 9.9 cIoU,因为要先推理才知道目标是什么。71.5 是该 split 免微调方法的最好成绩,精修贡献 6.9 个点(64.6→71.5);消融里去掉精修,ReasonSeg 掉 5.4、RefCOCO 掉 12.7。
后端研究换了 21 个模型、管线不动:stage-2 gIoU 从 13.4 排到 74.2,GPT-6 Astra 不带精修就有 74.2,高于 SAM 3 Agent 的 72.4。分割质量跟随后端升级,免重训;但通用 benchmark 分数预测不好分割质量,Claude Opus 5 是反例。代价同样明确:平均每图 13.4 次调用、159 秒,对比 SAM 3 一次前向。
这篇第一次在 benchmark 规模上证明,密集分割可以作为通用 MLLM 的文本输出能力直接兑现,零训练、零分割基础设施。只要有 MLLM API 就能做推理分割,而这恰好是 SAM 3 最弱的地方;每一步输出人可读的 JSON,几何决策可审查。长尾域尤其亮眼,RF-100VL 的 AP0 是 SAM 3 的 2.2 倍。适用面是低吞吐、高语义复杂度的场景,如医学与稀有领域标注;实时或稠密场景标注仍应选专有模型。
作者自列四条:检测错误、像素边界不精、无定形类别、推理成本。数字佐证:Cityscapes 落后 SAM 3 十点有余,LVIS/COCO 的 mask AP 也全面落后。评估协议有折扣:十个基准只有四个跑全量,RefCOCO 系列每个 split 抽 500 条(基线在同一子集重算),LVIS/COCO 的 AP 只剩几十张图可算,与公开数字不可比。标题里的「超过 SAM 3」很大程度吃到了 SAM 3 纯文本在推理查询上失效的红利,更公平的对手 SAM 3 Agent 在 RefCOCO 系列总体仍更强。每图 13.4 次调用、159 秒的延迟,与 860M 参数一次前向相比差了一个量级。