Cedana 联手 NVIDIA:单台 8×B200 节点托管整套编码模型组合
josh_wills · x · 2026-10-02
NVIDIA 与 Cedana 发布联合方案:在单个 8×B200 节点上托管一整套前沿编码模型组合。
- 架构分工:NVIDIA Dynamo 负责 serving,NeMo Switchyard 负责路由与升级(小模型失败时切换到大模型),Cedana 实现约 1 分钟内带会话状态的模型切换。
- 动机:企业自托管编码模型以保住代码与 token 成本控制权,但编码任务横跨补全、小修改、复杂调试与仓库级规划,单一模型无法全面最优。
- 关键数据:基于 TraceLab 约 4300 个 Claude Code/Codex 会话的公开 trace,中位请求 38 秒完成,但超过 10 分钟的 6% 请求消耗了 69% 的总请求时间——因此常驻中型模型处理大部分流量,前沿模型只服务长尾。
- 组合配置:长程规划用 DeepSeek-V4-Pro-NVFP4(约 873 GiB),困难任务用 Kimi-K2.6 / GLM-5.26,中等复杂度任务另配更小模型。
所属事件:Cedana 联手 NVIDIA:单节点托管整套编码模型(2 条相关)→
「编程与Agent」频道最新
- 编码 agent 缓存撑爆硬盘,Plonge 一键安全清理帮 Mac 找回 40GB — JordanMorgan10 · 2026-11-16
- ChatGPT 商业 agent 实机首秀,agent builder 同步亮相 — gaganghotra_ · 2026-11-16
- Scenario 免费上线 AI 创作者学院:17 门课 90 课时覆盖图视音 3D — smtabatabaie · 2026-11-16
- 开源 AI 工程课自带 Agent 导师:装进 Claude Code 就能一对一授课 — ghumare64 · 2026-11-16
- 让 Claude 把自己装进你的 artifact,用户用量算各自的 — TawohAwa · 2026-11-16
- iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重 — Chance-Resource-4970 · 2026-11-16