4090 单卡跑大模型推理：INT8 权重 + FP8 解码 + RAM 分级缓存方案
AIFlow_ML · x · 2026-10-25
AIFlowML 总结在 RTX 4090 上跑大模型的实际方案：权重和 KV cache 用 INT8，解码器用 FP8，各模块仅在其计算阶段才移入 GPU；GPU 上只保留 18 帧 latent 历史帧，其余归档到系统内存。核心结论是"预算要花在内存（RAM）上，而不只是显存"。
作者还给出资料来源：模型卡里 "Model Assets" 一节有 INT8/LoRA 相关说明值得通读，代码与演示视频均在帖中链接。对想在消费级单卡上做视频模型本地部署的人是具体可参考的参数配置。
所属事件:单张 4090 跑大模型与视频生成的显存优化方案(2 条相关)→
「Infra」频道最新
- 专业化成本崩塌，任务专属推理引擎正成为 agentic coding 新战场 — _AustinCalvert_ · 2026-10-25
- 博主逆向剖析 Apple 端侧 20B 模型：MoE 驻闪存仅占 2GiB 内存 — julsimon · 2026-10-25
- NVIDIA GTC 柏林展出 8 台 DGX Spark 组成的迷你集群 — MaziyarPanahi · 2026-10-25
- Reddit 求助：本地跑 DeepSeek 4.1 Flash 追平托管服务质量要多少预算 — Robert__Sinclair · 2026-10-25
- Browserbase 讲解浏览器 Agent：为 Ramp、Bill、Stripe 省下超 3 万小时人工 — AI Engineer · 2026-10-25
- 32GB 显存卡一夜暴涨：B70 从 1.4K 冲到 2K，本地部署党被迫降级 — tableball35 · 2026-10-25