新论文：Transformer 内部存在忠实世界模型但被干扰

arXiv 新论文《World Modeling in Transformers》回应了「Transformer 没有世界模型」的质疑。研究者在曼哈顿随机游走数据上训练 taxiGPT，通过可解释性分析发现模型内部存在一张忠实的「世界地图」，证明 Transformer 并非没有学到世界模型，而是特征叠加（superposition）相互干扰，导致内部表征虽忠实、行为却可能失灵。

2026-09-23 ~ 2026-09-23 · 3 条相关

• 可解释性论文发现 taxiGPT 内部存在忠实的世界地图模型 — __nmca__ · 2026-09-23
• 论文:Transformer 并非没有世界模型,而是特征叠加互相干扰 — burny_tech · 2026-09-23
• 新论文:Transformer 内部有忠实世界模型却行为失灵 — xuanalogue · 2026-09-23