Recurrent network dynamics explain the time course of perceptual grouping in natural scenes
Sami Mollard, Alekh K. Ashok, Lore Goetschalckx, Drew Linsley, Thomas Serre, Sander M. Bohte, Pieter R. Roelfsema
q-bio.NC
2026-10-05
荷兰神经所与布朗的四层GammaNet在冻结COCO特征上做提示分割,增强活动从提示点铺开,人类分组反应时方差解释到19.7%,噪声上限19.8%。
自然图像里把像素收成物体要几百毫秒,长于皮层第一次前馈扫过全图。曲线追踪中,反应时随曲线长度大致线性增加;猴子 V1 里,增强活动到达更远感受野更晚,曲线挤在一起的瓶颈处会再拖一截。这对应于基于物体的注意沿表面铺开。
生长锥模型用感受野尺度描述这段延迟:离干扰物越远,可用感受野越大,传播越快。轮廓事先给定时,反应时拟合得好。纹理、内部边缘,或物体容易被认出,拟合就变差。自然图像的边界得自己推断。旧模型要现成轮廓,特征亲和给出的时间来自外加步骤。
GammaNet 是带水平连接和自上而下反馈的循环卷积网,这里做提示分割:被提示物体的像素全部标成该类别,其余标成背景。用类别标签,一张掩码就覆盖许多对同异判断,收敛也更稳。
输入是冻结的 Panoptic R101-FPN,在 COCO 上预训练,权重不动。八类聚类能把头和躯干分开,线性读出能解出外轮廓与内部边界。同类有两个物体时,它不知道提示属于哪一个。投影层降维后进入 GammaNet。
网络四层,尺度逐层变粗。每层 hGRU 按视网膜拓扑排列,前馈与反馈单元分开,水平连接提供远距相互作用。抑制形成周围抑制,兴奋使活动在空间上铺开。最低层线性读出逐像素类别。
学习规则是 C-RBP。梯度根据平衡活动计算,不必保存整段时间轨迹,突触处可以拿到局部的信用信号。五个网络各训练 21,000 步,损失只看最终标签。图来自已有人类同异反应时的 COCO 分割子集。
平均 IoU 0.74±0.01（五次运行）,同一批图上 SAM 为 0.81±0.02。GammaNet 约 800 万参数,SAM 约 6.32 亿;计入 FPN 预训练,图像遍数约 500 万对 2300 万。
增强从提示附近出现,铺过被提示物体,干扰物体上的活动下降。全部测试图中,两种条件的活动差随时间单调增大。训练没有要求这个过程。
删掉内部边,终点几乎不动。十张图上 IoU 从 0.86 到 0.88（t(4)=4.47, p=0.011）。延迟则看提示离边多近。样例里近处多 4.0±1.18 个时间步,远处只多 0.6±0.24 步。十张图平均,近处 2.3±0.33 步（t(4)=6.8, p=0.0024）,远处 0.02±0.64 步（t(4)=0.03, p=0.98）,交互 F(1,4)=7.9, p=0.048。近时信号先顺着边走,远时直接跨过。
最高层扰到分类器把人认成伞,低层不直接改。全区域扰动后远侧覆盖率显著下降（t(4)=64, p<0.001）,近侧不显著（t(4)=3.23, p=0.22）。只扰远侧也降低远侧覆盖（t(4)=14.67, p<0.001）,只扰近侧没有变化（t(4)=0.97, p=1.0）。跨内部边主要靠远侧的类别信息。
反应时取信号到达第二个提示点的时间步,五个网络平均,模型只看到注视点。留出图准确率 78%,人 90%,判据更严,不能直接比。
| 模型 | 解释的反应时方差 | 对比 |
| 噪声上限 | 19.8%（18.2-21.4%） | p=0.99 |
| GammaNet 四层 | 19.7%（12-27%） | 参照 |
| GammaNet 三层 | 4.2%（0-8.3%） | p=8.4e-7 |
| 生长锥,仅轮廓 | 16.8%（9.4-24%） | p=0.45 |
| Mollard 等,仅轮廓 | 15.7%（8.5-23%） | p=0.29 |
| Goetschalckx 等,仅轮廓 | 6.1%（1.1-11.1%） | p=3.9e-5 |
| Adeli 等 2023,亲和迭代 | 7.3%（2-12%） | p=2.8e-4 |
| Adeli 等 2026,直接拟合反应时 | 20.5%（13-28%） | p=0.82 |
多次训练的模型在表里取最好一次。三层只剩 4.2%。生长锥和 Mollard 等测的是去掉颜色、纹理和内部结构的轮廓图。Adeli 等 2023 解释 7.3%;2026 年用反应时训练读出网,到 20.5%,与四层 GammaNet 无显著差别。GammaNet 的损失里没有反应时。
SAM 和 Mask2Former 一次可以输出多个物体。生物视觉一次只分组一个延展物体,GammaNet 同样只铺一个。IoU 低 0.07。分组反应时的点估计贴住噪声上限,训练目标里没有反应时。
内部边靠近提示会推迟分组,离得远则几乎不推迟。类别信号应从包括 V1 在内的早期视皮层解出,先出现在提示附近,再铺到物体所占视野。约 800 万参数,加上不沿整条轨迹反传的 C-RBP,比常规分割网更接近皮层里可能实行的学习。冻结 FPN 仍是反向传播预训练的现成前端。
论文承认两点。语义特征来自单独预训练并冻结的 FPN,循环分组没有与前端联合学习。模型没有显式的 border ownership,不单独表示轮廓哪一侧属于物体。
19.7% 与 19.8% 的噪声上限只在点估计上重合。GammaNet 区间为 12%-27%,噪声上限为 18.2%-21.4%。多次训练取最好一次,参照偏高。内部边仅十张图,交互 p=0.048。把人扰成伞用的是对抗迭代,离皮层反馈远。时间步未换成毫秒,对齐停在方差。
FPN 进循环层之前已能解出轮廓、内部边和部件聚类。循环层说明这份现成表征可以学出跨边传播,并解释反应时。表征能否用同样的局部规则学出,还没有验证。