论文:Transformer 并非没有世界模型,而是特征叠加互相干扰
burny_tech · x · 2026-09-23
arXiv 论文《World Modeling in Transformers》用 TaxiGPT(在曼哈顿随机游走数据上训练的 Transformer)回应了「Transformer 学不到连贯世界模型」的质疑。
- 通过机制分析与因果干预,作者发现模型其实内部表示了路口和街道、能追踪自身位置,并用一个「目标罗盘」导航
- 其失败根源是叠加路口特征之间的干扰,破坏了内部地图中的定位,而非地图本身不连贯
- 提出 affordance packing(把合法走法相同的路口表示分组)可限制这类错误的影响
- 给出可用于跨模型比较的机制性指标,发现世界建模能力在训练不同阶段先后涌现
结论:研究范式应从「模型有没有世界模型」转向机制性地研究它如何表征环境并据此行动。
所属事件:新论文：Transformer 内部存在忠实世界模型但被干扰(3 条相关)→
「研究」频道最新
- 形式化验证让 AI 编码更快：Lean 证明成为 agent 优化护栏 — bigdata · 2026-11-11
- 教授用纯 NumPy 从零搭建交互式神经网络教学笔记本 — GeostatsGuy · 2026-11-11
- 新 benchmark Continual-ARC:主流 agent 都学不会经验,9B 模型微调可以 — Med1_Ai · 2026-11-11
- Science 子刊：好的对话呈现'粉噪'式的语义波动模式 — _akpiper · 2026-11-11
- 研究：近半数 STEM 博士论文用 AI 写，仅 4.7% 主动披露 — paulnovosad · 2026-11-11
- AlphaGenome 2 商业 API 上 Google Cloud 私测，权重承诺未来开源 — anshulkundaje · 2026-11-11