IBM 用 llm-d 在 544 块 H100 上跑 753B MoE,服务 3000 个并发编程 Agent
dl_weekly · x · 2026-09-16
IBM Research 与 Red Hat 发布 llm-d 基准报告:在 544 块 NVIDIA H100 上部署约 753B 参数(39B 激活)的开源 MoE 模型 GLM-5.2,同时服务 3,000 个并发编程 agent,85.2% 的输入 token 由缓存命中提供,成本比商用 API 低 5-10 倍。
- Agent 负载特征:反复处理超大上下文、跨交互复用信息、并行子 agent 产生不可预测的突发流量,以「读上下文」而非「生成文本」为主,对延迟、显存、吞吐、成本都是新挑战。
- llm-d 是 IBM Research、Red Hat、Google 等主导的开源推理框架,回应企业在 token 成本上涨与数据私有所迫下自建开源模型服务的需求。
- 结论:企业可在现有 H100 集群上支撑今天的 agentic 流量,不必全面换卡。
「编程与Agent」频道最新
- Cohere Labs 智能体团队构建方法降本 70%，兼顾效率 — Cohere_Labs · 2026-11-02
- Ыég especial: 长文析 AI 价值在效率之后：Infra 必然过剩，应用层基建正当时 — yangyi · 2026-11-02
- 开源 offprompt：MCP 服务器让 Agent 请求密钥却永远看不到明文 — Vast_Ad_7338 · 2026-11-02
- Reddit 讨论：把 OOP 公有方法直接变成 AI Agent 可调用的工具 — out_of_nowhere__ · 2026-11-02
- DeepSeek 设计文档：一人只能盯 3-5 个 agent 会话，瓶颈不再是模型 — heyshrutimishra · 2026-11-02
- 资深工程师谈 AI 编码：软件工程功底决定 agent 输出质量 — bendee983 · 2026-11-02