网友用双 RTX 5090 以 vLLM 本地部署 27B 模型
piddlefaffle12 · reddit · 2026-09-25
一位 Reddit 用户展示了在 CachyOS 系统上，用两张 RTX 5090 通过 vLLM 本地部署运行 27B 级别开源模型的截图，属于消费级双卡本地推理的实践案例，可作为端侧部署硬件配置参考。
「Infra」频道最新
- AI 服务器需求拉动,南亚塑胶拟投115.3亿新台币建玻纤布五厂 — zephyr_z9 · 2026-11-11
- 三年造 CPU、内存与脉冲网络：一位芯片爱好者的加速器之路 — k7agar · 2026-11-11
- CoreWeave：2027年13万张GPU到期续约可年增收近40亿美元 — zephyr_z9 · 2026-11-11
- 800 美元二手 3090 主机本地跑 DeepSeek 4.1，2 量化仅 2-3 token/s — LankyGuitar6528 · 2026-11-11
- Mark 感叹 George Hotz 当年对 Nvidia 局势的预言成真 — mark_k · 2026-11-11
- 亚马逊 Prime 360 用 AI 实时重建 NBA 比赛 3D 画面，可任意视角回放 — import_jmr · 2026-11-11