字节Seedream团队提出VoT：让扩散模型先「想」再画
JingxiangSun42 · x · 2026-09-13
字节跳动 Seedream 团队发布论文 VoT: Vision-of-Thought for Unified Multimodal Representation Alignment。
- 现有文生图多为「文本编码器 + 扩散解码器」范式，文本语义直接调制连续噪声，缺少可解释的中间表示来衔接高层语义与低层视觉信号。
- VoT 在 VLM 与 DiT 之间插入一个离散的「视觉思考层」：不再把 VLM 仅当文本编码器用，而是当作多模态规划器，在渲染像素前先生成表示物体、布局等高层视觉计划的离散 VoT token。
- 训练了一个专用 VoT tokenizer，采用闭环目标函数（VLM 对齐 + 特征重建 + 向量量化损失），使 token 对 VLM 语义可读，同时保留生成所需的视觉信息。
- 实验表明 VoT 提升语义对齐，并为可解释、可控生成提供结构化接口。
所属事件:字节 Seedream 团队发布 VoT：让模型先思考再作画(3 条相关)→
「多模态」频道最新
- 社区整理 60+ 个 ChatGPT「斜杠风格词」:一词唤出整套视觉风格 — heyshrutimishra · 2026-10-31
- Cartesia 语音 agent 平台盲测登顶：级联方案击败原生 speech-to-speech — rohanpaul_ai · 2026-10-31
- Hyperflow H3 登顶视频榜前五，价格不到 Seedance 2.5 一半 — ArtificialAnlys · 2026-10-31
- Krea 插件登陆 Grok：在聊天里直接把草图变成动画 — angrypenguinPNG · 2026-10-31
- 开源 Stem Studio:把 AI 视频音轨拆成可编辑分层 — eraiozei · 2026-10-31
- AI 视频诽谤了人,该起诉提示者、模型商还是平台? — New_Pension_4485 · 2026-10-31