明略科技联手中科院提出 VisionHOPE:自修改学习的视觉骨干网络
机器之心 · wechat · 2026-10-18
明略科技与中科院自动化所联合提出 VisionHOPE,首个以自修改学习系统为核心的通用视觉骨干网络,登 Hugging Face 每日论文榜第 2,GitHub 短时间近 1000 Stars,代码与权重以 MIT 协议开源。
核心机制(SRNL 自指嵌套学习)
- 五类可更新记忆协同:内容记忆存图像信息,Key 记忆生成写入索引,Value 记忆生成学习目标,学习率记忆控制更新幅度,保留率记忆决定旧信息保留量——让「怎么学」也随画面内容在推理中实时变化。
- 用 Delta 梯度下降(DGD)避免重复纹理导致的记忆堆积。
- 两层稳定性约束(软注入上限 + 谱截断),论文证明五类记忆范数不会超过初始状态。
- 四向扫描(行列正反向)适配二维图像;14 Token 分块使推理速度达逐 Token 版本的 2.86 倍,精度仅差 0.1 个百分点。
实验结果
- ImageNet-1K:VisionHOPE-S(52.9M 参数)达 85.2% Top-1,参数不到 VMamba-B 六成、准确率高 1.3 个百分点;VisionHOPE-B 达 85.6%。
- COCO 检测分割与 ADE20K 语义分割均达同规模最优或并列最优。
- 可视化显示更大更清晰的有效感受野,学习步长与主体物体空间分布重合。
局限与展望:每处理新图像记忆仍会重置,尚未实现跨帧持续学习;未来可扩展至长视频、自动驾驶、具身智能及跨模态记忆。
「研究」频道最新
- Xaira 发布 X-Scientist:AI 找药靶点比人工快 10 倍 — saurabh_shah2 · 2026-10-23
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸:10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕:Science 撤回关注声明,结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam:一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲:AI 气象模型胜超算,但不会取代科学家 — AnimaAnandkumar · 2026-10-23