单张 4090 跑大模型与视频生成的显存优化方案

开发者分享在单张 RTX 4090 上运行大模型推理与视频生成模型的显存优化实践：权重与 KV cache 采用 INT8 量化，解码器使用 FP8，各模块仅在对应计算阶段才分阶段加载到 GPU，GPU 上仅保留最少数据，其余借由 RAM 分级缓存。该方案显著降低显存占用，使消费级单卡也能承载原本需要更大显存的大模型和视频生成任务。

2026-10-25 ~ 2026-10-25 · 2 条相关

• 4090 单卡跑大模型推理：INT8 权重 + FP8 解码 + RAM 分级缓存方案 — AIFlow_ML · 2026-10-25
• 单张 4090 跑视频生成:INT8 权重加 FP8 解码的分阶段加载玩法 — AIFlow_ML · 2026-10-25