网友用双 RTX 5090 以 vLLM 本地部署 27B 模型
piddlefaffle12 · reddit · 2026-09-25
一位 Reddit 用户展示了在 CachyOS 系统上，用两张 RTX 5090 通过 vLLM 本地部署运行 27B 级别开源模型的截图，属于消费级双卡本地推理的实践案例，可作为端侧部署硬件配置参考。
「Infra」频道最新
- 10 年期美债破 5.2%，交易员：这次是算力问题不是石油 — km · 2026-09-25
- 内存涨价解方?博主称智能手机消耗全球 30% DRAM 与 NAND 供应 — AlpinDale · 2026-09-25
- TileRT×AMD 在 8×MI355X 上跑 GLM-5.3 达 469 tok/s,比 GB300 FP4 快 40% — vllm_project · 2026-09-25
- 转述：AI 在 TPU 设计某些方面已强过任何人，但只被当工具看 — burny_tech · 2026-09-25
- CLion 2026.2.3 支持 NVIDIA CUDA Tile C++ 语法 — blelbach · 2026-09-25
- AMD 边缘计算新招：单台工厂盒子工作负载达 Jetson 级 2.3 倍 — shashib · 2026-09-25