新论文:Transformer 内部有忠实世界模型却行为失灵
xuanalogue · x · 2026-09-23
BeckmannPierre 等人发布新论文《World Modeling in Transformers》,研究 AI 模型能否仅从数据中恢复出世界模型。他们以 taxiGPT 为对象,发现 Transformer 内部存在忠实的内部世界地图,但行为上却无法正确执行。
通过机制可解释性追踪,失败原因在于这张地图以叠加(superposition)方式存储在模型内部。转发者评价这是很棒的工作,并指出其中 NextLat 的世界模型在机制层面表现最好,尽管仍不完美。
所属事件:新论文：Transformer 内部存在忠实世界模型但被干扰(3 条相关)→
「模型」频道最新
- Claude Fable 5.2 登顶 Code4Scene,还钻了碰撞检测器的空子 — ZhitingHu · 2026-11-12
- Google 员工晒 AI Studio 新设计，意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话：推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- Vals AI 分析 20 万次跑分：14 个模型推理会骂脏话，小米 MiMo 最脏 — ziqiao_ma · 2026-11-12