Apple 康奈尔发布 FastFrames:36ms 每帧实现实时交互式视频生成
NielsRogge · x · 2026-11-21
Apple 与 Cornell 研究者(含 Vladlen Koltun)发布自回归视频扩散模型家族 FastFrames,将视频生成延迟压到可实时交互的水平。
- 核心发现:对现有 SOTA 模型的推理管线做剖析后,发现常被视为固定实现细节的 VAE 解码与 KV cache 更新竟占端到端推理延迟的一半以上,团队用轻量替代方案替换了这两者
- 1.3B 版本:单张 B200 上每帧 36ms(每秒 28 次响应),质量追平慢近 8 倍的 SOTA 模型
- 14B 版本:8×B200 节点上每帧 45ms(22 RPS),视觉质量与真实感显著更优
- 已展示相机条件与物理条件视频生成等实时交互应用
论文 arXiv:2611.23226,代码与模型(FastFrames-L/S)已开源在 GitHub 与 Hugging Face。
「多模态」频道最新
- Gemini 视频剪辑实测帖:10 条提示词把粗剪速度提 10 倍 — anthara_ai · 2026-11-21
- VidLab 上线:号称全网最便宜的媒体生成模型 API 聚合平台 — eptwts · 2026-11-21
- Sarvam AI 视频配音实测:上传即译制,支持多印度语言 — umesh_ai · 2026-11-21
- 网友用 Claude Opus 5.5 给自己做了一部关于它的短片 — prasenx · 2026-11-21
- 神圣几何曼德拉prompt模板走红,一键把任意主题变几何艺术 — LudovicCreator · 2026-11-21
- 网友用 AI 复刻权游临冬城场景,画面逼真到真假难辨 — LudovicCreator · 2026-11-21