162个视觉模型对比:NeurIPS论文揭示普适表征维度
Martin Hebart 团队(一作 Florian Mahner,合作者包括 Ka-Chun Lam、Fernando Pereira、Michael Bonner)的论文《Characterizing Universal Object Representations Across Vision Models…》被 NeurIPS 2026 接收。团队通过对比 162 个不同架构、目标函数和训练数据的视觉模型,系统研究了模型表征在何种结构上收敛、其出现由何决定。当前结论是:视觉模型存在普适表征维度,更普适的维度更语义化、更可解释,且与人类和生物视觉更接近;普适性可作为 AI 与人类对齐程度的指标,但其来源仍有大量待解问题。
已确认
- 研究将各模型的对象相似性结构分解为少量非负维度,统计哪些维度跨模型复现,由此定义普适维度。
- 普适维度的出现无法用架构、训练数据、训练目标、模型规模或 ImageNet 性能差异解释,普适性的驱动因素仍有待厘清。
- 更普适的维度更偏语义/概念化,基于分类任务的附加分析印证了这一点,说明倒数第二层的普适性反映高层内容而非底层视觉特征。
- 人类标注实验中,更普适的维度明显更可解释(视觉、语义或两者兼有),可解释性是模型普适性的涌现属性。
- 普适性与人类行为数据及猕猴大脑预测能力强相关,说明普适维度更接近生物视觉;团队还展示了反向因果——让模型与人类对齐,其维度会变得更普适。
- 团队总结称,普适性可作为 AI 与人类对齐程度的指标,未来可用于开发更符合人类表征的模型。
尚未确认
- 普适性由何种因素驱动,论文尚未给出解释,留待后续研究。
为什么重要
- 该研究回答了大规模视觉模型表征收敛于何种共同结构这一基础问题,并为用普适性度量并提升模型与人类对齐提供了可操作的路径。
2026-09-25 ~ 2026-09-27 · 8 条相关
一手来源
- 对比162个视觉模型:NeurIPS论文揭示表征趋同的普适维度 — martin_hebart ·
- 架构、数据与规模均无法解释视觉模型的普适表征 — martin_hebart ·
- 普适维度越多的模型越像人脑,与人类对齐可反增普适性 — martin_hebart ·
- 【源头】对比162个视觉模型:NeurIPS论文揭示表征趋同的普适维度 — martin_hebart · 2026-09-25
- 人类标注实验:可解释性是模型表征普适性的涌现属性 — martin_hebart · 2026-09-25
- 更多普适维度的模型表征更偏语义概念而非底层视觉 — martin_hebart · 2026-09-25
- 【源头】架构、数据与规模均无法解释视觉模型的普适表征 — martin_hebart · 2026-09-25
- 【源头】普适维度越多的模型越像人脑,与人类对齐可反增普适性 — martin_hebart · 2026-09-25
- 普适性可作AI与人类对齐指标,助力开发更人本的模型 — martin_hebart · 2026-09-25
- 新研究提出用表征普适性作为 AI 与人类对齐程度的指标 — martin_hebart · 2026-09-25
- 162个视觉模型分解研究:通用表征维度更贴近生物视觉 — burny_tech · 2026-09-27