协变理论新进展:剔除干扰成分后 RSA 恢复完全协变性
dyamins · x · 2026-08-25
作者提出关于 RSA(表征相似性分析)与 CKA 的「Contravariance theory」:
- Theiss 等人的工作显示 RSA 可分解为「任务相关核心几何」与「任务无关」的干扰成分,后者可能严重主导 RSA 结果
- 通过投影到特权轴(privileged axes)可剔除干扰成分,此后完全协变性(complete contravariance)适用于任务相关的核心几何 RSA
- 在困难任务条件下,特权轴、线性回归与任务相关 RSA 三个指标完全一致
附带 Substack 解读与详细数学推导链接。
「研究」频道最新
- Google 气象 AI 模型 WeatherNext 助力提前 5 天预测飓风 — GoogleAI · 2026-08-25
- AI研究核心难点：如何实现战略重评估与探索 — dejavucoder · 2026-08-25
- 业内人士爆料：AI 训练环境多由 Vibecode 赶制，充满噪声 — generativist · 2026-08-25
- 阿里新方法：把长时 agent 上下文管理当编程任务做 — omarsar0 · 2026-08-25
- 自建新闻语料去AI味：同题多代生成互评打分 — ivan_bezdomny · 2026-08-25
- 前 NVIDIA 科学家创企发布物理预测模型，单次处理 5 万亿数据点 — thesaraharminta · 2026-08-25