UMAP 为何把模型可视化拉成一条弧:一个巨型坐标主导一切
leland_mcinnes · x · 2026-10-27
解释了为什么 Anthropic 风格的激活可视化「每张图都是一条大弧」:
- 视觉模型(如 ConvNeXt):存在一个值远大于其他激活的「巨型坐标」,在不同图像位置取值不同。UMAP 只保留「激活最相近的点彼此相邻」,于是实际等价于按这一个坐标从低到高排序,所有位置排成一条弧,图像其余信息全部被丢弃。把该坐标置零后,位置才会按其余激活结构分布,弧变成有内部结构的团状图。
- LLM:对应的巨型坐标像一个「开关」,在约 1% 的 sink token(如每段文本的首 token)上取极大值,其余为 0。UMAP 自动把这些 sink token 单独隔离成一簇,其余 token 按剩余激活正常铺开——这解释了为什么 LLM 的 UMAP 图不需要修正也能用。
- 配图用 Llama-3.1-8B 第 16 层、4000 个 AG News token、相同 UMAP 参数(Euclidean、30 邻居、mindist 0.08)复现了这一现象,并对照 Cammarata《Neural Networks Are Already Clean》中的交互图。
「研究」频道最新
- AI 研究者热议:模型互动式持续学习将是未来十年的课题 — arthurcolle · 2026-10-27
- OpenAI 宣称模型反驳指数时间假设,原提出者正参与核查 — ZeroCool86 · 2026-10-27
- AI 设计药物在人体见效，抗衰老正变成『可修复问题清单』 — rand_longevity · 2026-10-27
- 复杂度理论新猜想：算法提速的代价是变丑 — Elijah_Meeks · 2026-10-27
- NeurIPS 基准:45 个数据集上树模型仍胜深度学习,XGBoost 领先 — tak3sh8 · 2026-10-27
- Kevin Bryan 演示「人机共创」设计工具并谈 AI for Science 训练逻辑 — Afinetheorem · 2026-10-27