928 星 Wiki：无 NVLink 在 PCIe RTX 6000 上跑 397B 大模型
TheZachMueller · x · 2026-09-07
一个社区维护的「RTX PRO 6000 Blackwell LLM Wiki」在 GitHub 上走红（928 星），专注于在无 NVLink 的 PCIe 消费/工作站 GPU（SM120 架构）上部署前沿大模型，覆盖 Qwen3.5-397B、Kimi-K2.5、GLM-5 等模型。
内容远超启动脚本级别，包括：
- 可复现的 Docker 构建与 vLLM、SGLang 的详细 runbook
- 基准测试表格与 KLD 质量校验方法
- 量化注意事项、DCP/MTP/DSpark/DFlash 的调试记录
- PCIe 拓扑调优与回归测试历史
配套还有一个 Discord 工作台供社区协作。对想在单机 PCIe 环境跑超大模型的本地部署者是相当完整的实战手册。
「Infra」频道最新
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23
- 优化 PCIe 小消息 all-reduce 内核，DeepSeek-V4.1 推理解码提速 12% — AlpinDale · 2026-10-23
- 海上油气平台拟改建为 AI 数据中心，烧闲置天然气供算力 — clemnt · 2026-10-23
- 同为原生 UI:Swift 版 80MB 仅限 Mac,Zig 版 10MB 三端通吃 — jedisct1 · 2026-10-23
- 开源本地版 NotebookLM:SurfSense 全文档问答与文档编辑 Agent — FurtiveMirth · 2026-10-23