RTX 6000 Pro 用户用 LLM 自建本地大模型切换器插件
illgettheownerforyou · reddit · 2026-11-20
一位 Reddit 用户分享了自己用 RTX 6000 Pro(128GB DDR5 + 9950x3D)在本地跑大模型的工作流:他在 DeepSeek Harness 桌面应用里,用 LLM(辅以图像生成)做出了一个本地模型切换插件,界面展示各模型基于真实使用统计的预期 tok/s 和加载时间,可以方便地加载/卸载模型。
作者感叹本地跑大模型的速度「难以置信」,并向社区征集其他人管理本地引擎的 UI 方案。
「Infra」频道最新
- 量子计算瞄准 AI 工作负载,IBM 与 QuEra 公布容错路线图 — mikeflache · 2026-11-20
- 腾讯财报电话会:最新出口管制将加速中国半导体自给自足 — basedjensen · 2026-11-20
- Chorus 论文:共享 n-gram 嵌入表缩小 87%,性能反超 DeepSeek Engram — brown2green · 2026-11-20
- 内存仅 20MB 的浏览器 IDE px0 发布,作者谈如何逐层做减法 — arpit_bhayani · 2026-11-20
- 清昴智能发起昇腾 950DT 万卡级 Token 工厂,算力利用率从 40% 提至 80% — 量子位 · 2026-11-20
- SenseNova-Loop 9B 在 8GB 显存跑通,推理 token 省一半 — R_Duncan · 2026-11-20