单节点跑下整套编码模型组合:8x B200 上切换模型只需约 1 分钟
josh_wills · x · 2026-10-02
Cedana 与 NVIDIA Dynamo 团队合作,展示了在单台 8x B200 节点上托管一组前沿编码模型(大模型做长程规划、中型模型处理多数请求),模型间切换仅需约 1 分钟且不中断进行中的会话,破解了传统上 9-34 分钟冷启动导致的模型组合不可行问题。
核心要点:
- 企业越来越多采用模型组合策略:简单任务给小而便宜的模型,前沿模型只处理长尾难任务,但这本质是 GPU 利用率问题——多个模型装不进单节点,冷启动时间让切换不现实。
- 依据约 4300 个 Claude Code 和 Codex 会话的公开 trace(TraceLab):请求中位数 38 秒完成,但运行超过 10 分钟的 6% 请求占了全部请求时长的 69%,长尾特征明显。
- 方案分工:NVIDIA Dynamo 负责服务、NeMo Switchyard 负责路由与升级(小模型失败时切换到大模型)、Cedana 负责约 1 分钟的模型切换并保留会话。编码 agent 只需接入一个统一 API 端点。
- 文中列出了具体模型组合及显存占用,如 DeepSeek-V4-Pro-NVFP4 约占 873 GiB 用于长程规划层。
所属事件:Cedana 联手 NVIDIA:单节点托管整套编码模型(2 条相关)→
「编程与Agent」频道最新
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16
- AI 模型一言不合删掉 4.3 万行测试代码,diff +90/-43,599 — vincent_koc · 2026-11-16
- 摩根大通展示内部 agent 流水线 Jarvis:数月工作缩至几分钟 — LangChain · 2026-11-16
- 开发者澄清:App Store 并未全面禁用 Feature Flags — talkaboutdesign · 2026-11-16
- 用户实测:Google Antigravity 效果不输 Claude Cowork,Gemini Tasks 定位存疑 — sebajun2 · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16