VisionHOPE: Visual Backbones as Self-Modifying Learning Systems
Siran Peng, Tianshuo Zhang, Tianyu Fu, Weisong Zhao, Haoyuan Zhang, Jiankuo Zhao, Minghui Wu, Ping Jiang, Xiangyu Zhu, Chenxu Zhao, Zhen Lei
cs.CV
2026-09-27
中科院自动化所与明略科技提出视觉骨干VisionHOPE，用五记忆自指更新加软注入帽稳住训练，层级Tiny在ImageNet上Top-1达84.1、COCO框AP 47.9、ADE20K mIoU 49.4。
视觉骨干一路从 CNN 的共享局部核，走到 ViT 的内容相关注意力，再走到 SSM 的输入相关状态转移，以及 TTT 层在扫图时更新内部 learner。适应范围在变大，但「怎么适应」这条规则仍由训练好的外参数写死。Mamba 类模型里，token 决定转移，token 到转移的映射在图内不变。ViT3 和 Vision-TTT 会改内部 learner，生成 key/value 的映射和更新规则多半还是外参数。
Nested Learning（NL）把模型看成一组互相耦合的学习过程，用自指构造让内容、key、value、学习率和保留五块记忆一起随上下文演化。把无约束自指更新直接塞进视觉骨干会不稳定：扩张的记忆转移会沿扫描正反馈，训练发散。VisionHOPE 要做的是让骨干在一张图里同时改「记住什么」和「怎么学」，并且前向不炸。
VisionHOPE 把 NL 收成稳定化的 Self-Referential Nested Learning（SRNL）模块。每个 token 上五块记忆一起动。
更新规则是带保留的 Delta Gradient Descent（DGD）：不只按梯度做 rank-one 写入，还按当前 key 上已有响应做残差修正，适合视觉扫描里高度相关的相邻 token。每块记忆用自己的状态把 value 变成私有目标，再对当前 key 做 L2，形成学习信号。五块因此耦合。存什么、往哪写、写多快、忘多少，都随扫描共演化。
无约束时，一步转移的谱范数可以大于 1。配套的步长控制先对 key 做稳定 L2 归一化，再用软注入帽把自指注入压在 1-α 的收缩余量内，最后用谱钳把保留转移的谱范数压到不超过 α，并证明沿扫描记忆的 Frobenius 范数不扩张。P-VisionHOPE-S 上去掉软注入帽，前向在训练早期直接 NaN。谱钳在同设定下拿掉，精度仍是 82.3。
二维上沿四个方向独立扫，chunk 对齐整行或整列：横扫 chunk 长等于宽，竖扫等于高。chunk 内用边界状态并行算出 token 相关量，工作记忆仍按 token 序累加。四路还原后按学习到的通道权重融合，对 token 数线性。块结构是常见双残差：深度卷积给局部，SRNL 做远程，再接 FFN。层级版四阶段下采样，plain 版单分辨率。
ImageNet-1K、224×224、from scratch。层级 Tiny：VisionHOPE-T 27M 参数、4.9G FLOPs，Top-1 84.1，与 RMT-S 持平，高于 H-ViT3-T 的 84.0 和 VMamba-T 的 82.6。Small 为 85.2（H-ViT3-S 84.9），Base 为 85.6（H-ViT3-B 与 RMT-L 都是 85.5）。plain 侧差距更大：P-VisionHOPE-T 6M/1.2G 得到 78.4，对照 Vision-TTT-T 77.7、DeiT-T 72.2；P-VisionHOPE-S/B 为 82.3/83.4。
层级模型额外用了 MESA。去掉之后 T/S/B 仍是 83.7/84.7/85.2，对照同设定下 H-ViT3 的 83.5/84.4/84.9。
| 设置 | VisionHOPE | 近邻 |
| Tiny ImageNet Top-1 | 84.1 | RMT-S 84.1 |
| Small ImageNet Top-1 | 85.2 | RMT-B 85.0 |
| COCO-T box AP（1×） | 47.9 | H-ViT3-T 47.3 |
| ADE20K-T mIoU | 49.4 | H-ViT3-T 48.0 |
COCO Mask R-CNN 1× 上 T/S/B 的 box AP 为 47.9/49.5/50.5，mask AP 为 43.1/44.2/45.0。Base 与 MILA-B 打平。ADE20K UPerNet 上 mIoU 为 49.4/50.3/51.8，Tiny 比 H-ViT3-T 高 1.4，Base 只高 0.1。
P-VisionHOPE-S 消融：完整模型 82.3；去掉自适应 K/V 与动力学掉到 81.7；单向扫描 81.6；把软帽换成硬钳为 81.8，推理时约 49.68% 的 token 更新撞上限。相对 DeiT，高分辨率下算力和显存按 token 数线性涨。Figure 3 在 Base、单卡 A100、BF16、batch 8 的曲线上，相对 DeiT-B 标了约 -94.6% FLOPs 和 -52.8% 显存。相对 Vim 是同量级 FLOPs、全分辨率更高吞吐、高分辨率更省显存。
自指记忆能当通用视觉骨干跑通分类和稠密预测，代码已开源。高分辨率相对 ViT 有明确的线性复杂度好处。相对 Vim 和 VMamba，多出来的是学习规则本身随图改变。
精度账要看清楚。层级 ImageNet 和 COCO Base 是 0.1 点量级的咬平或微超，FLOPs 还略高：VisionHOPE-S 9.8G，MILA-S 7.3G，H-ViT3-S 8.8G。
这更接近一次把 NL 工程化进视觉的可行性证明。想跟进，优先看不稳定从哪来、软注入帽能不能挪到别的 test-time 记忆上。
原版 HOPE 还有按不同频率更新的 Continuum Memory System。判别视觉没有沿扫描的 token 级监督，这篇直接砍掉 CMS，只留自指部分。query 投影始终在自指环外，记忆也收成线性矩阵，不是 NL 原文里的 MLP。
谱钳在消融里等于没干活。非扩张证明靠它和软帽配套，经验上真正托住训练的是软注入帽。
对比表里不少基线摘自原论文，训练配方不完全对齐。层级结果带 MESA，plain 不带。没有 ImageNet-21K、没有视频、没有比 Base 更大的尺度。四向扫描来自 VMamba 系，单向掉 0.7 点，二维开销仍在。
「首个自修改通用视觉骨干」是表述。TTT 骨干已经在图内改 learner，差别在改的是不是规则本身。