MC-Lens 用全局工作空间理论透视 VLM 内部概念表征与跨模态对齐
Jiahao Huang · hf · 2026-11-20
帝国理工学院与 UCL 研究者提出 Multimodal Concept Lens(MC-Lens),一个多模态 Jacobian 透镜,把 VLM 中间状态映射到由解码器词表定义的共享语义空间,以研究其概念处理是否符合全局工作空间理论(GWT)。
主要发现:
- 多模态概念信息在中间状态可读,且能按任务需求被选择性访问;将 readout carrier 从单 token 扩展为 token 集合可更好捕获概念并支持反事实实验
- 反事实实验表明被访问的概念信息确实参与下游计算与推理
- 提出两个基于 J-space 的指标追踪跨模态概念对齐的发展,比隐状态余弦更灵敏;可靠的选择性访问比概念可访问性发展得更晚
- 跨 VLM 家族与规模观察到共享的可访问性、查询依赖选择性与干预效应模式
「研究」频道最新
- Accord 开源:单相机加 IMU 实现在线稠密米制建图 — BE2R · 2026-11-20
- AltRA-Test:判断 LLM 能否替代人工标注只需约 100 条样本 — Technion · 2026-11-20
- TwinD 深度伪造检测泛化突破:AUROC 大幅领先现有检测器 — Andrii Yermakov · 2026-11-20
- 可视化单个人工神经元:加权求和加激活函数就这么点事 — TinfoilTricorn · 2026-11-20
- Astra 6.2 半小时内推翻组合几何猜想 Fish et al. 6.5 — IgorCarron · 2026-11-20
- NeurIPS 论文:仅前向传播实现 LLM 推理中自适应,内存更低提速更快 — 机器之心 · 2026-11-20