RTX 6000 Pro 用户用 LLM 自建本地大模型切换器插件

illgettheownerforyou · reddit · 2026-11-20

一位 Reddit 用户分享了自己用 RTX 6000 Pro(128GB DDR5 + 9950x3D)在本地跑大模型的工作流:他在 DeepSeek Harness 桌面应用里,用 LLM(辅以图像生成)做出了一个本地模型切换插件,界面展示各模型基于真实使用统计的预期 tok/s 和加载时间,可以方便地加载/卸载模型。

作者感叹本地跑大模型的速度「难以置信」,并向社区征集其他人管理本地引擎的 UI 方案。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →