新论文把 transformer 前向传播视为轨迹几何，揭示语义收敛三阶段
its_vayishu · x · 2026-10-11
arXiv 论文《Trajectory Geometry of Transformer Representations Across Layers》提出无需 probe 的机制可解释性新方法：把 transformer 前向传播看作高维表征流形上的离散轨迹，用轨迹长度、曲率、语义收敛指数、逐层余弦相似度、表征稳定性五个指标直接刻画。
在 GPT-2、TinyLlama、Qwen2.5 三个模型家族上的四个发现：
- 语义相关的 prompt 在中后层显著收敛（收敛指数 0.41–0.58，p<0.001），呈吸引子式动力学
- 推理任务轨迹曲率更高（0.71–0.83 rad vs 词面变化的 0.27–0.31 rad），曲率可编码计算复杂度
- 歧义 token 出现轨迹分岔，末层表征分离度可达 5.6 倍，无歧义对照中不存在
- 逐层余弦相似度呈现跨架构一致的三阶段结构：编码、细化、输出准备
所属事件:新论文以轨迹几何刻画Transformer层间表征收敛过程(2 条相关)→
「研究」频道最新
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 作者用布尔逻辑造 LM:前向传播单线程仅需几微秒但训练极慢 — cephaloform · 2026-10-23
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23