LTX-Video 论文:H100 上 2 秒生成 5 秒视频,压缩比 1:192
Crazy-Repeat-2006 · reddit · 2026-11-10
LTX-Video 是一个基于 transformer 的实时视频潜在扩散模型,已开源代码与预训练权重。其核心思路是不把 Video-VAE 与去噪 transformer 当作独立组件,而是协同优化两者的交互。
关键设计:
- 精心设计的 Video-VAE 实现高达 1:192 的压缩比,每个 token 对应 32×32×8 像素的时空下采样——方法是把 patchify 操作从 transformer 输入移到 VAE 输入
- 在高度压缩的隐空间中,transformer 可高效做全时空自注意力,保证高分辨率视频的时间一致性
- 高压缩天然损失细节,于是让 VAE 解码器同时负责隐空间到像素的转换和最终去噪,直接在像素空间产出干净结果,省去独立上采样模块的运行时开销
- 文生视频与图生视频同时训练,两者都支持
性能: 在 Nvidia H100 上,2 秒即可生成 768×512、24fps 的 5 秒视频——快于实时,超过所有同规模现有模型。
博客:ltx.io/technical-blog;论文:arxiv.org/abs/2501.00103
所属事件:LTX-Video 论文发布:单卡 H100 两秒生成 5 秒视频并开源(2 条相关)→
「多模态」频道最新
- 25000 个 AI agent 自主建造 450 个 3D 互联世界,全程无人干预 — felixrieseberg · 2026-11-10
- 三位前苹果研究员创业做全双工数字人,Emma 能边听边实时反应 — ditzikow · 2026-11-10
- 突破 345 帧限制:ComfyUI 长视频节点用重叠窗口拼接生成 — Hoje-Na-IA · 2026-11-10
- 多运动相机视频拼接新研究:对齐网络让画面以假乱真 — kwangmoo_yi · 2026-11-10
- Claude 接 Blender MCP 用代码造出 931 零件、24260 铆钉的喷气机 — gaganghotra_ · 2026-11-10
- Claude Fable 5.2 自写乐谱自录制:产出贝多芬风格钢琴奏鸣曲 — imjustnewatai · 2026-11-10