928 星 Wiki：无 NVLink 在 PCIe RTX 6000 上跑 397B 大模型
TheZachMueller · x · 2026-09-07
一个社区维护的「RTX PRO 6000 Blackwell LLM Wiki」在 GitHub 上走红（928 星），专注于在无 NVLink 的 PCIe 消费/工作站 GPU（SM120 架构）上部署前沿大模型，覆盖 Qwen3.5-397B、Kimi-K2.5、GLM-5 等模型。
内容远超启动脚本级别，包括：
- 可复现的 Docker 构建与 vLLM、SGLang 的详细 runbook
- 基准测试表格与 KLD 质量校验方法
- 量化注意事项、DCP/MTP/DSpark/DFlash 的调试记录
- PCIe 拓扑调优与回归测试历史
配套还有一个 Discord 工作台供社区协作。对想在单机 PCIe 环境跑超大模型的本地部署者是相当完整的实战手册。
「Infra」频道最新
- M1 64GB 本地跑 Astra 严重卡顿,开源模型端侧性能引关注 — natesiggard · 2026-09-07
- 一文讲透 KV Cache:为何增长、12 种优化技术与各自取舍 — AccBalanced · 2026-09-07
- 开源项目 SlimServe：消费级显卡跑量化 LLM 推理 — QuixiAI · 2026-09-07
- 全球 AI 债务发行已达 5700 亿美元,规模逼近美国市政债市场 — ivan_bezdomny · 2026-09-07
- 预测：算力正从机架级迈向数据中心级，瓶颈转向周边一切 — AccBalanced · 2026-09-07
- AI 圈新梗:刷牙关水龙头,「为数据中心省水」 — EigenGender · 2026-09-07