单张 4090 跑视频生成:INT8 权重加 FP8 解码的分阶段加载玩法
AIFlow_ML · x · 2026-10-25
作者分享在单张 RTX 4090 上运行视频生成模型的显存优化方案：权重和 KV cache 用 INT8,解码器用 FP8,各模块按推理阶段轮流搬上 GPU;GPU 上仅保留 18 帧潜在历史帧,其余归档到系统内存。他强调「预算要算 RAM 而不只是 VRAM」。同时给出观点：生成的视频「看起来对」不等于「物理上对」，在机器人场景里适合用于感知多样性和相机路径测试，控制器仍应留在真实模拟器加真机上。
所属事件:单张 4090 跑大模型与视频生成的显存优化方案(2 条相关)→
「Infra」频道最新
- 奥斯陆团队用开源数据重建城市电网完整拓扑，破解公用事业保密地图 — anselm · 2026-10-25
- 「再给我一块 H100」：研究者跪求 GPU 梗图刷屏 — miniapeur · 2026-10-25
- SpaceX 拟再借 400 亿美元买英伟达芯片，太空数据中心遭市场质疑 — jonerp · 2026-10-25
- 马斯克预言部分数据中心将出现「搁浅算力」,Ed Zitron 质疑需求无限论 — mjdramstead · 2026-10-25
- Nvidia 开源 Flora：机器人视频标注成本降至 GPT-6 Astra 的 1/125 — The Decoder · 2026-10-25
- Wired：美国反数据中心运动可借鉴爱尔兰、新西兰经验 — Wired AI · 2026-10-25