双 RTX 6000 搭建本地开发环境,选什么模型好?

alexp702 · reddit · 2026-08-31

用户拥有一台 Threadripper 配备 128GB 内存和两张 RTX 6000 Pro Max-Q 显卡,计划为小团队搭建本地编码服务。目前考虑 GLM、Deepseek R4、Qwen next 等模型,希望能保留视觉能力。由于双卡部署需要量化,用户在 VLLM 框架下寻求具体的量化方案和配置建议。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →