VisionHOPE:首个自我改造学习系统的通用视觉骨干网络
CASIA · hf · 2026-09-30
中科院自动化所(CASIA)发布论文 VisionHOPE,首次把视觉骨干网络构建为「自我改造学习系统」:
- 梳理了从 CNN 到 ViT、SSM 再到测试时训练(TTT)层的演进:视觉计算越来越依赖输入自适应,但适应规则仍由训练好的骨干预先规定
- 基于 Nested Learning 的自指构造,模型「记什么」与「怎么学」在单张图像内部共同演化,通过五个耦合记忆存储内容、生成 K/V 并控制学习率与保留
- 直接应用自指更新会不稳定,作者推导出稳定性匹配的步长控制(自指注入软上限 + 保留记忆转移的谱钳制),并证明记忆动力学在每次扫描中非扩张
- 将 NL 的 chunk 公式适配到 2D 特征图,沿行列做四方向扫描对齐
- 在 ImageNet-1K、COCO、ADE20K 上取得有竞争力的结果,代码已开源
「研究」频道最新
- ThinkyMachines 训练开源模型用约 40 token 直接修复损坏网络权重 — SonglinYang4 · 2026-11-14
- 哈佛 MIT 团队推出 UGG:单一扩散模型统一视频生成与 3D 几何理解 — burny_tech · 2026-11-14
- Hugging Face 推出 Decision Models:不生成文本直接输出决策概率分布 — ariG23498 · 2026-11-14
- 可计算拓扑学新结果:计算数学结构被压缩为定理 A 与 B 两个 — jessi_cata · 2026-11-14
- BAAI 开源无编码器 VLM 系列 EVE,登 NeurIPS 与 ICCV 获 spotlight/highlight — liuziwei7 · 2026-11-14
- 《递归模型坍缩》:模型如何在自我投喂中变成乖顺助手 — sebkrier · 2026-11-14