无标签训练 ViT 学会聚焦：空间注意力头专化自发涌现
Yuji Nozawa · hf · 2026-11-10
Kioxia 研究者提出两种视觉聚焦损失函数，将 Vision Transformer 的多头注意力与图像特定区域对齐。
- 针对自监督模型（如 DINO）表征模糊、过度相似的缺陷
- 借助多头注意力机制选择性引导模型聚焦，无需标注即涌现出多样且空间聚焦的注意力头专化
- 定性与定量评测显示零样本分割等稠密预测任务显著提升
「研究」频道最新
- Ben Todd 预测远程劳动指数 2027 年 4 月前后饱和，AI 逼近真实工作 — ben_j_todd · 2026-11-10
- 清华/英伟达等推出 StreamEval：38 个模型暴露流式视频生成的真实短板 — jiqizhixin · 2026-11-10
- Neel Nanda 经典论文：机制可解释性拆解 grokking 三阶段 — burny_tech · 2026-11-10
- Cornell Box 经典测试场景为何避开纯红纯绿墙面 — ssh4net · 2026-11-10
- Neel Nanda 团队逆向工程 grokking:训练分三阶段渐进涌现 — burny_tech · 2026-11-10
- 把 AI 当安全审计员扫全球法律库，用形式化方法找税法漏洞 — SnooPeripherals5313 · 2026-11-10