RTX 5090 实测跑 Cosmos3-Nano：FP8/FP4 量化突破 32GB 显存限制
fengwang_2_718281828 · reddit · 2026-08-08
开发者成功将 Cosmos3-Nano 模型量化为 fp8 和 nvfp4 格式，使其能够在 32GB 显存预算内运行。同时，作者打包并分享了一个带有 WebUI 的 Docker 镜像，方便其他拥有 RTX 5090 等显卡的用户直接部署和体验。
「Infra」频道最新
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- Neocloud 并购潮解析：CoreWeave、Nebius 等押注 GPU 稀缺之外的价值 — AccBalanced · 2026-10-16
- AI 驱动的时序感知功耗优化:学习排序+基线保全策略回收布线后功耗 — Amit Sharma · 2026-10-16
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16