清华「天眸芯」再登顶刊：推出自监督视觉框架，突破开放世界视觉退化瓶颈

机器之心 · wechat · 2026-08-11

清华大学类脑计算研究中心「天眸芯」团队的最新进展登上《Nature Sensors》封面。如果说此前的研究实现了互补视觉感知芯片从 0 到 1 的硬件创新，本次工作则完成了从 1 到 10 的系统级算法与软件生态飞跃。

解决视觉退化痛点

现实环境中存在运动模糊、过曝、闪烁等复杂的视觉退化现象。由于缺乏可靠真值，传统监督学习难以处理。团队借鉴人类视觉机制，提出了无需真值标注的退化数据自监督表征学习框架，使模型能直接从真实退化数据中学习有效视觉表示。

两阶段类脑感知学习范式

自底而上构建内部模型：算法将不同视觉先验嵌入中间表征，通过跨通路注意力和记忆模块分配权重，保留可靠线索并推断缺失结构，在隐空间中形成通用视觉表示（IGFNet），并解码出估计的视觉真值（e-VGT）。
自顶而下赋能高层任务：将内部模型的视觉知识送入高层任务，大幅增强了极端环境下的单目深度估计和视频实例分割能力。

开源生态与产业转化

团队正式开源了配套算法软件工具链 TianMouCV，目前已在去模糊、视觉里程计等多个 CVPR/ICCV 顶会任务中验证了其有效性。
成果转化平台「晰见科技」正推进技术落地：通过自适应视觉 Token 提取，减少 90% 以上冗余视觉信息，将多模态大模型的首 token 延迟降低 20 倍以上，推动视觉传感器成为大模型的智能输入层。

「具身」频道最新