$1100 收 24GB RTX 3090,装无头服务器跑本地模型求配置建议
NighthawkXL · reddit · 2026-11-01
作者以 $1100 从朋友处收了一张成色很新的 EVGA RTX 3090 FTW3(24GB,无挖矿/AI 满载历史),打算装进家里的 Ubuntu Server 无头服务器(5600X + 64GB DDR4),给局域网里的助手流水线和编码推理当 API 后端,解决现有 RTX 4070 12GB 跑不下可用上下文窗口的问题。
他向社区征求三方面经验:
- 24GB 显存下的编码/逆向工程模型:主要工作是 DOS 与 16 位 Windows 老游戏的逆向(x86 汇编、C/C++、Ghidra/IDA 伪代码),想要 20-22GB 权重、留 KV cache 空间、且不会编造旧调用约定的编码模型,32k-128k 上下文。
- 无头服务的模型热切换:哪些后端/runner 能按需换模型且不饿死宿主机上的 Jellyfin、AdGuard 等服务,尽量容器化。
- FTW3 散热与功耗:该卡后置 GDDR6X 长时间张量负载发热出名,求 Linux 下的 nvidia-smi 功耗墙、无头降压与风扇曲线(coolbits/nvidia-settings/systemd)方案。
「Infra」频道最新
- 3B 模型训练时渐进复制中层，GSM8K 19% 胜 12% 且省 26% 算力 — burny_tech · 2026-11-01
- 从零写 CUDA 引擎:3-6 台 DGX Spark 跑满 GLM-5.3,并提取转向向量控制输出语言 — burny_tech · 2026-11-01
- 深入解读 NVIDIA 指令调度模型:静态延迟与 scoreboard 的博弈 — mike64_t · 2026-11-01
- 红杉合伙人自建 SpaceX 财务模型：2028 年营收或达 7311 亿美元 — FinanceYF5 · 2026-11-01
- SK 海力士 HBM 售罄至 2029：AI 抛售非需求问题，而是现金流与耐心之争 — danielrock · 2026-11-01
- 曝 Google Gemma 4 已在太空数据中心运行,Project Suncatcher 迈出第一步 — Saboo_Shubham_ · 2026-11-01