双 RTX 6000 搭建本地开发环境,选什么模型好?
alexp702 · reddit · 2026-08-31
用户拥有一台 Threadripper 配备 128GB 内存和两张 RTX 6000 Pro Max-Q 显卡,计划为小团队搭建本地编码服务。目前考虑 GLM、Deepseek R4、Qwen next 等模型,希望能保留视觉能力。由于双卡部署需要量化,用户在 VLLM 框架下寻求具体的量化方案和配置建议。
「编程与Agent」频道最新
- 用 Codex 调试 3 小时,改写 Worker 仅 5 分钟 — banteg · 2026-08-31
- 如何实现 Agent 的信息收集决策机制? — Smart_Promise441 · 2026-08-31
- Agent 审计日志安全:为何不能让 Agent 控制日志 — amu4biz · 2026-08-31
- 何为 Agent Harness?用攀岩比喻理清模型与脚手架的边界 — JeremyCMorgan · 2026-08-31
- Templater 插件调试技巧:使用 debugger — dSebastien · 2026-08-31
- 开发者怀念早期模型带来的加速编码心流 — Dimillian · 2026-08-31