研究发现 Transformer 内部存在忠实的世界模型

arXiv 论文《World Modeling in Transformers》回应了「Transformer 没有世界模型」的质疑。研究者在曼哈顿随机游走数据上训练了 taxiGPT，通过可解释性分析发现模型内部存在一张忠实的「世界地图」：Transformer 并非没有学到世界模型，而是不同特征相互叠加干扰，导致世界模型难以直接显现。这一发现为理解大模型的内部表征提供了新证据。

2026-09-23 ~ 2026-09-23 · 2 条相关