P2Echo 用文本切换四切面心超分割,中位 Dice 比最强基线高 2.33 点

Prompt2Echo (P2Echo): Text-Prompted Multi-View Echocardiography Segmentation with One Model

Moein Heidari, Alvin Kimbowa, Mahdi Tabatabaei, Afshin Bozorgpour, Sina Ghorbani Kolahi, River Jiang, Wenjin Chen, David J. Foran, Jasmine Grewal, Dorit Merhof, Ilker Hacihaliloglu

cs.CV

2026-11-10

P2Echo 用一句结构化文本指定切面和目标结构,单模型分割四个标准心超切面。内部 Dice 为 92.0 到 96.9,外部三套数据的中位增益是 2.33 个点,推理只要 6.90 GFLOPs。

这篇在解决什么

心超定量要看多个标准声窗。心尖两腔、三腔、四腔(2CH、3CH、4CH)里左心室呈子弹形,胸骨旁短轴(PSAX)里它是圆形,各切面能看见的腔室也不一样。机器、中心和病人带来外观差,散斑、声影和信号脱落再把边界冲糊。

按切面各训一个专科网络能避开这种几何冲突,模型数量和维护成本却一起涨。多切面混在一起训、又不标明当前切面,经典结构会滑向平均解,逐切面精度下降。EchoONE 用聚类原型做稠密提示,一个模型能看多切面,但使用者不能直接指定切面和结构。MedCLIP-SAMv2 和 Grounding DINO-US-SAM 用文本做定位或生成视觉提示,语言停在解码之前,没有在各个分辨率上改特征。

方法

P2Echo 用固定模板写条件:「View: v. Target: k. Description: δ(v, k).」δ 是这个切面下的解剖说明,例如 4CH 左心室是子弹形并构成心尖,PSAX 左心室在中部呈圆形。文本侧是冻结的 Qwen3-Embedding-0.6B,提示有限,嵌入算一次就复用。

图像侧用 ImageNet 预训练的金字塔视觉 Transformer PVTv2-B2 抽四级特征。最深层和提示 token 进 3 层交叉注意力,得到带图像条件的 mask embedding,按四个解码阶段的通道宽度投出去。

简单把文本接到解码器末端,压不住同一结构在不同切面上的外形冲突。对齐因此放进每一级:先减掉两边共有的冗余,再让注意力跟着当前提示走。这个模块叫 DyITA,后面再接门控 3×3 深度卷积修边界。路由靠直通估计器(STE):前向只选一个专家,反向用 softmax 的梯度训练路由器。

损失用边界差分并交比(BDoU),在区域重叠上加重边界对不齐的地方,系数由边界和前景面积之比决定。主输出和两个中间层一起监督。输入 256×256,SGD,200 epoch,batch 32,学习率 0.01。

五个开发集按 80/10/10 划分,类别是左心室、心肌、左房、右室、右房。3CH 只在 SegRWMA 有左心室,PSAX 只在 EchoNet-Pediatric 有左心室。CardiacNet、EchoNet-Dynamic、HMCQU 做外部测试。HMCQU 原始只有心肌,左室腔靠连接基底端点、闭合后填充得到。

结果

内部 mDice 是 2CH 96.94±1.72、3CH 94.71±2.16、4CH 93.87±5.07、PSAX 92.00±4.97,HD95 是 2.03、3.96、3.33、6.99。相对 EchoONE,2CH、3CH、4CH 的 Dice 高 5.3、1.1、2.8 个点,PSAX 持平。CENet 在 2CH、3CH 为 93.11、93.09,nnUNet 在 4CH、PSAX 为 91.39、91.50。前三个切面相对第二名的 Wilcoxon 符号秩检验是 p<0.01,PSAX 没有星号。

定性例子里,基线更容易在心肌和右心上缺块或粘连。示意的 2CH 病例中,EchoONE 把左室腔和心肌壁混在一起。

设置P2Echo对照
内部四切面 mDice96.94 / 94.71 / 93.87 / 92.00比 EchoONE +5.3 / +1.1 / +2.8 / 持平
HMCQU82.22nnUNet 45.30,ResUNet 58.02
EchoNet-Dynamic87.79CENet 85.67,HD95 11.33 对 11.89
CardiacNet92.95CENet 89.56
算力6.90 GFLOPs,64.68 FPSEchoONE 174 GFLOPs,SAM3 2417 GFLOPs

外部是 HMCQU 82.22±9.53(HD95 6.92)、EchoNet-Dynamic 87.79±7.01(HD95 11.89)、CardiacNet 92.95±10.02(HD95 3.37)。EchoNet-Dynamic 的 HD95 没有显著优势。HMCQU 上 nnUNet 掉到 45.30±45.41。心肌标注在训练里基本只来自 CAMUS,普通模型会把没标的类当成没有这个结构。各评测集相对最强基线,Dice 中位高 2.33 个点。

37.47M 参数。H100、FP32、逐张 0.01546 秒,比 CENet 快 1.51 倍,比可提示模型快 4.28 到 159.36 倍。SwinUNet 只要 0.00577 秒、6.16 GFLOPs,更快也更省,精度明显差一截。零样本 SAM3 在这个域上接近失效。

去掉动态投影、度量核、差分算子,HMCQU 的 mDice 降 2.18、1.70、2.19,HD95 升 0.39、0.43、0.92。边界增益主要在差分。文本编码器换 4B,mDice 从 82.22 到 82.29,HD95 从 6.92 到 6.95。

450 张图、950 个结构上,规范模板 Dice 93.53±6.83,临床改写 80.48±23.88,短指令 35.83±36.23。空提示和「分割心腔」接近 0,「分割肝脏」还有 6.35。

为什么重要

切面和结构写在提示里,一个网络就可以替掉一排按切面拆开的模型,也比聚类原型好写进流程。6.90 GFLOPs、64.68 FPS,检查后处理的算力预算放得下。

和上面的强卷积基线比,2CH、3CH、4CH 的 mDice 高 3.83、1.62、2.48,PSAX 高 0.50。这是渐进改进。拉开差距的是标注不完整的 HMCQU,以及相对 EchoONE、SAM 适配版的速度。文本在这里是开关。0.6B 换成 4B 几乎不变,嵌入可以事先算好。

局限与存疑

实验只有四个标准切面,写提示时默认切面身份已知,没见过的切面没有结果。3CH 和 PSAX 的监督各来自一个开发集,而且几乎只有左心室,右心和心肌覆盖很窄。评测没有容积和射血分数,分割更好之后测量是否更稳,还没有证据。

提示换种说法就掉点。短指令标准差 36 个 Dice 点,自由临床文本现在不能用。HMCQU 的左室腔是由心肌轮廓推出来的,这项上的大差距要连着标签生成看。失败类 Dice 记 0 并计入平均,无穷 HD95 被丢掉,基线的边界指标会因此好看一些。

术语

原文与代码

社区讨论

相关论文

全部论文解读