两张 H200 跑编码模型怎么配,4 到 10 个并发用户怎么服
redblood252 · reddit · 2026-07-28
- 发帖者表示公司现在有 2 张 H200 GPU 可用,想找一个适合 agentic coding 的模型。
- 目标是 256k 上下文,用 vLLM 服务 4–10 个并发用户,通常是 4 个,极少超过这个数。
- 他们想知道该选什么模型、怎样配参数,才能在代码能力和速度之间取得平衡。
- 另一个问题是:vLLM 容器是否值得每天重启。
「编程与Agent」频道最新
- OpenAI 正在为 agent 写代码的时代重做工程流程 — every · 2026-07-28
- OpenAI 正为 AI 代码洪流重做代码审查流程 — every · 2026-07-28
- OpenCode 把 Kimi K3 加进了编程 Agent 模型列表 — zainhas · 2026-07-28
- 一套实用的云端 Agent 工具栈:Devin、Cursor、Open-Inspect 等 — vinvan · 2026-07-28
- Stripe Directory 增加即时收录和 MCP 搜索 — jeff_weinstein · 2026-07-28
- AIWayfinder 发布 DCA v0.6.0,推出零干预自愈守护进程 — templecrash · 2026-07-28