512GB DDR4 + 双 RTX 3090 该跑什么本地模型?
ArtifartX · reddit · 2026-09-12
Reddit 用户计划组建一台专用于本地模型推理(含 agentic coding)的服务器:512GB DDR4-2666 + 2 块 RTX 3090(48GB VRAM),未来可扩至 7 卡 PCIe 4.0 x16。求助社区:这套配置能跑什么、该跑多个小模型还是单个大模型,并引用了在双 3090 上以 9.12 tok/s 解码速度运行 Qwen 3.8-Flash-Next 的案例。讨论涉及 RAM/VRAM 配比、大模型量化的实用性与扩展规划。
「Infra」频道最新
- USD.AI 以代币化GPU为抵押放贷,最大单笔一年从62万增至9810万 — antavedissian · 2026-09-12
- USD.AI:存款易来易去但贷款账本持续增长,总锁仓5.57亿美元 — antavedissian · 2026-09-12
- Nari Labs 发布 40ms 语音转文字，价格仅 Gemini 的九分之一 — alexcovo_eth · 2026-09-12
- NVIDIA 发布 TensorRT Model Connect,加速视频转语音构建 — NVIDIAAI · 2026-09-12
- Hugging Face Kernels 支持 Helion:一键分发自动调优的高性能 kernel — PyTorch · 2026-09-12
- 用 Rust 让模型睡眠，单机省下近 80GB 空闲显存 — ahstanin · 2026-09-12