SSAD 2026：自动驾驶世界模型的状态表征与交互难题

在自动驾驶世界模型研讨会 SSAD 2026 上，@abursuc 通过系列演讲系统梳理了构建自动驾驶世界模型的关键考量，覆盖架构、状态表征设计与交互性三大主题。

已确认

• 当下大多数世界模型采用通用架构：一个 tokenizer 负责压缩并产出状态表示，一个世界模型模块接收当前状态与条件，输出下一个状态。作者特别致意 Wayve 的 Alex Kendall，认为其团队较早向社区铺陈了这一思路。
• 各家方法的核心分歧在于 tokenizer 该编码什么、如何训练：可选方案包括冻结视觉自监督特征，或侧重语义、几何、任务相关性/可预测性，或从 DINO 蒸馏中获取丰富信息。
• 状态表征需要忠实重建像素以便在模型内部运行，但要避免过度聚焦高频内容。
• 状态中需要容纳频率各异的信息流，例如每 10Hz 需用新动作更新一次世界模型状态，不同频率信息的承载与更新是核心难题。
• 对环境进行干预时，干预后的状态与动作之间可能存在相关性，由此引出两个关键问题：如何在状态空间中启用和整合交互性，以及如何表示动作空间。

为什么重要

这套梳理把散落在各论文中的设计选择统一到「tokenizer 编码什么、如何训练」这一主轴下，为自动驾驶世界模型的比较与研究提供了清晰框架；而多频率信息更新与动作空间表示等交互性问题仍是走向真正可交互世界模型的待解难点。

2026-09-17 ~ 2026-09-17 · 7 条相关

• 当代世界模型的主流架构：tokenizer 压缩状态再预测下一状态 — abursuc · 2026-09-17
• 【源头】世界模型通用架构解析:tokenizer 设计是各家方法的核心分歧点 — abursuc · 2026-09-17
• SSAD 2026 演讲梳理世界模型状态表征的多种设计路线 — abursuc · 2026-09-17
• 【源头】自动驾驶世界模型怎么建:状态表征别过度聚焦高频细节 — abursuc · 2026-09-17
• 【源头】世界模型构建三要点:像素重建、状态交互、动作空间表示 — abursuc · 2026-09-17
• 环境干预的难点:状态与动作可能存在相关性 — abursuc · 2026-09-17
• 世界模型互动难题:状态需承载多种频率的信息流 — abursuc · 2026-09-17