FLUX 3 同时训练图像视频音频,BFL 详解视觉智能论
Latent Space · rss · 2026-11-17
Latent Space 播客对话 Black Forest Labs 的 Andreas Blattmann 与 Dustin Podell,探讨 FLUX 3 为何同时用图像、视频和声音训练:
- 视觉智能论证:Blattmann 用接球类比——手在球到达前就开始移动,说明存在无法用公式写出的预判知识。静帧告诉你物体在哪,视频告诉你它如何运动,撞击声能在镜头漏拍时补充时间信息。他认为普通 2D 视频包含大量「从其他角度看上去是什么样」的证据,如镜头环绕人物时模型要能补出后脑勺,这比「单帧是否逼真」更能检验模型是否理解物理。
- 时序一致性:逐帧独立锐化会因每帧决策不同产生闪烁抖动,BFL 的视频超分器直接从 FLUX 3 同一骨干派生。
- 自回归 vs 扩散:自回归能一次利用全部训练 token,扩散则可将长采样过程蒸馏为少量步骤;哪个优势更重要取决于你是付训练成本还是等生成结果。
- Kontext 起源:Podell 假设能画「戴帽子的狗」的模型已隐式学会帽子该放哪,几小时训练就让模型把 logo 放到衬衫上,验证后团队投入数月打磨。
- 意外用例:用户用 FLUX 修复老旧家庭照片并展示给家人,团队此前未预料到这一「跨编辑保持身份一致性」的场景。
「多模态」频道最新
- 新论文用激活探测恢复蒸馏图像/视频生成器的多样性 — _akhaliq · 2026-11-17
- 4DAnyone 新增 4DGS 训练与交互查看,支持人物和机器人视频 — HirokatuKataoka · 2026-11-17
- 用 AI 全程建模一座城堡:模块化资产包的踩坑与求索 — Oaker_at · 2026-11-17
- DALL-E 停服逼着重写管线:选生成模型先问四个问题 — Al_Grigor · 2026-11-17
- 80 年代复古风奇幻电影级 AI 视频,「比电影还好看」 — mark_k · 2026-11-17
- 新音频编码器实测:嵌入信息量大幅提升,社区畅想音频版 CoCa — wightmanr · 2026-11-17