Lang-SVG 用语义部件树矢量化自然图像,576 个控制点把部件召回从 28.8% 提到 48.5%

Lang-SVG: Hierarchical Image Vectorization with Language Priors

Xi Liu, Chaoyi Zhou, Run Wang, Jiaang Li, Feng Luo, Junxiang Huang, Siyu Huang

NeurIPS 2026

cs.CV

2026-11-12

Clemson 的 Lang-SVG 用分割先验把自然图像收成带父子关系的语义部件树,并用 Qwen3.5-27B 补标签。ADE20K 上 576 个控制点,部件召回从 LIVSS 的 28.8% 升到 48.5%,StructXLIP 从 SGLIVE 的 0.462 升到 0.506。

这篇在解决什么

照片收成 SVG 之后,现有方法主要在追像素误差。SVG 是放大后仍清晰的路径代码,语言模型能直接读写。DiffVG 让矢量渲染可微,LIVE 逐层加图元,SGLIVE 和 LIVSS 再用 SAM 的掩码对齐区域。SAM 是可提示的通用分割模型。图可以很像,图层是平的。同一辆车的车窗、轮胎、车身散在不同路径里,选不中整辆车,也改不动单独的车门。

像素损失不管控制点花在哪。没有层级时,优化器偏向高频纹理和重建残差,完整部件分不到形状预算。LIVSS 先用扩散模型把图做成多级语义再抽掩码,边界会被扩散带偏。SGLIVE 的掩码停在较粗物体,到不了部件。自然图像的可用 SVG 很少,缺能按部件编辑的表示。

方法

每个节点存语义标签、掩码和一组 Bézier 图元。Bézier 曲线靠控制点定形,描一块闭合区域。父子边表示「子节点是父节点的一部分」,根是整张图。

树由分割结果嵌出。Grounded-SAM 做开放词汇分割,先给出带标签的物体和部件。Semantic-SAM 按多个粒度补更细掩码,先标 unknown。从粗到细挂接:子掩码有足够比例的面积落在父掩码内(阈值 τ)才算候选;候选里取树深最大者,深度相同比 IoU(交并比)。无处可挂就接到根上。

靠近根的节点在透明度叠加后大多被子孙挡住,边界却更碎。depth-adaptive simplification 按深度改容差:靠近根用更大容差、更简的多边形,叶子用更小容差保住边界。控制点跟着可见程度走。

重叠掩码不能只按 IoU 删。Tree-Guided Pruning and Merging 在同一语义分支里比 SVG 颜色:无标签子节点和父节点颜色过近就删除;父子或兄弟颜色接近且重叠够大就合并。已有标签的节点保留,避免把同色的车和路并掉。

漏掉的区域用 L1-SAM-Prompting 补。当前渲染和原图的 L1 残差指出漏洞,但直接把残差聚类变成路径会把点灌进纹理。这里只取聚类块的框和均值点去提示 SAM,得到更完整的掩码,放在「拟合分割结构」和「细化外观」之间。

未知节点交给 Qwen3.5-27B。提示包含整图、节点裁剪、填充色、祖先和已标注亲属的标签与框。闭集里选题,开放词汇里自由生成。不确定就标 texture 或 unknown。

结果

主实验是 ADE20K-Part234 的 200 张验证图、752 个部件和子部件真值。预算按控制点对齐:LIVE 与 DiffVG 每条路径固定 9 点,LIVSS 和 Lang-SVG 的路径点数不固定。主协议 Same points 有 576、1152、2304 三档。Avg.R 是 IoU 0.3、0.5、0.7、0.8 四档部件召回的平均。StructXLIP 用边缘线索训练,补 PSNR 看不见的结构差。

方法PSNRStructXLIPCLIP部件 Avg.R
DiffVG21.810.2900.59714.9%
LIVE21.280.4200.62516.9%
SGLIVE21.380.4620.63417.7%
LIVSS19.500.3790.60928.8%
Lang-SVG21.880.5060.65148.5%

576 点时像素只略好于最强基线。PSNR 比 DiffVG 高 0.07 dB(21.88 对 21.81),SSIM 从 SGLIVE 的 0.633 到 0.638,LPIPS 从 0.464 到 0.436。StructXLIP 从 SGLIVE 的 0.462 到 0.506,Avg.R 从 LIVSS 的 28.8% 到 48.5%。[email protected] 从 33.4% 到 60.5%,[email protected] 从 19.7% 到 37.2%。

2304 点时 Lang-SVG 为 PSNR 25.90、StructXLIP 0.775、Avg.R 64.2%,LIVSS 为 24.12、0.695、49.1%,SGLIVE 为 25.04、0.731、22.3%。按 64 条曲线对齐时,Avg.R 是 51.5% 对 LIVSS 的 38.3%。

同一套 Semantic-SAM 加 Grounded-SAM 先验下,LIVSS 的 PSNR 只从 24.12 到 24.23,StructXLIP 从 0.695 到 0.708。Lang-SVG 仍是 25.90 和 0.775。

消融在 2304 点。去掉树(剪枝随之失效),PSNR 从 25.71 降到 24.29,StructXLIP 从 0.769 降到 0.705。关掉深度简化,PSNR 从 25.90 降到 24.84,StructXLIP 从 0.775 降到 0.714。去掉 L1-SAM-Prompting,PSNR 降 0.49 到 25.41,StructXLIP 到 0.762。换成 UnSAMv2,PSNR 到 25.73。

层级指标没有基线。阈值 0.5 时 Child Containment(子区域落在真值父区域中的比例)为 95.55%,Tagging Reliability 为 68.25%,Labeled Subpart Recall 为 47.06%;阈值 0.7 时三者为 86.65%、46.62%、27.00%。区域包含稳,阈值一严,标签对上的比例掉得快。

打标实验用真值掩码建树,随机藏起至多 50% 标签,Qwen3.5-27B 在闭集里恢复。整图加裁剪 58.5%,加父物体标签 67.7%,加兄弟孩子标签 68.9%,加亲属几何布局 80.2%,再加颜色 81.3%。去掉全部图像、只留树,仍有 60.7%。布局贡献最大。

COCO-AOKVQA 上 576 点的 PSNR 从 DiffVG 的 20.35 到 20.53。文本对渲染图的 StructXLIP,DiffVG 为 0.188,LIVE 为 0.234,Lang-SVG 为 0.270。40 张 Iconfont 复杂图标上,PSNR 从 SGLIVE 的 28.62 到 29.28。

为什么重要

数字量到的是区域是否落在人标部件上,没有用户编辑耗时。576 点下部件对齐约为 LIVSS 的 1.7 倍,相对 LIVE、DiffVG、SGLIVE 都超过两倍。

按名字选中部件时,树比平铺路径有用。闭集恢复从 58.5% 到 81.3%,靠的是亲属的框和标签,层级本身带语义。流水线仍是测试时优化:分割、可微拟合、再调 27B。不是一次前向,延迟和算力都没报。

渲染器没换,像素改进是渐进的。值得沿用的是协议:比较时要同时报部件召回。

局限与存疑

初始标签依赖开放词汇分割。漏件、含糊掩码、残缺标签会进树,小部件和纹理状区域最明显。Qwen3.5-27B 并未针对 SVG 训练。下一步是拿树和部件标注微调多模态模型。

81.3% 来自真值掩码和闭集遮挡恢复,分割误差和开放词汇生成都没被测到。完整流水线只在 Pascal-Part 上有定性结果,例如鸟尾标成 bird tail、更小一块标成 texture。

层级分数没有对照。包含关系在 0.5 达到 95.55%,带正确标签的子部件召回只有 47.06%,0.7 时降到 27.00%。可编辑这个动机没有用户实验,也没有运行时间和 27B 成本。样本只覆盖 200 张场景图和 40 张图标。τ、颜色阈值和点数再分配的具体取值在正文里没有给出。

术语

原文与代码

相关论文

全部论文解读