4 张 RTX 6000 Pro 撑起 40 人公司本地 AI:DeepSeek V4 Flash + vLLM 实操栈
q-admin007 · reddit · 2026-10-13
楼主分享用一台 2U 服务器(4×RTX PRO 6000 Blackwell Max-Q,96GB×4)为 40 名员工(含 10 名开发者)提供本地 AI 服务的完整方案:
- 主模型 DeepSeek V4 Flash,vLLM 部署,TP4,1M 上下文,GPU 利用率 0.55;回退 Qwen 3.8 27B Q8(llama.cpp,265K 上下文);小模型 K2-Horizon 7B Q6(64K)。
- n8n 做自动化;Whisper+Vexa AI 让 bot 进 Teams 会议生成转录,n8n 提取决议与待办。
- OpenWebUI 提供全员类 ChatGPT 界面,关闭多数 agentic 功能,Tavily 搜索可用。
- 开发者各持 API key 经 BiFrost(OpenAI 兼容路由)调用,并有本地 Linux VM 装 agent。
- ComfyUI 生成营销图视频;BGE-M3(BF16)+ bge-reranker-v2-m3 做嵌入与重排。
「编程与Agent」频道最新
- 歸藏晒 5 个 Claude Skill 存货,从视频剪辑到个人上下文工具 — op7418 · 2026-10-13
- LangSmith 推出 AI Search:用自然语言直接检索 Agent 执行轨迹 — LangChain · 2026-10-13
- 30 款 AI 生成视频被 Claude 改写成可玩的浏览器 WebGL 游戏 — OdinLovis · 2026-10-13
- 开发者用 Claude 设计 skill 生成大胆品牌概念:铁律是绝不抄袭 — round · 2026-10-13
- 马德里 Kernel Panic 大会爆满，四场生产级 AI 实战演讲 Slides 公开 — SergioPaniego · 2026-10-13
- 用 Hermes Agent 每周自动筛 GitHub 新项目:搜索抓取免费 — prasenx · 2026-10-13