AMD 携手 Inferact 强化 vLLM 智能体推理,已在生产环境运行
woosuk_k · x · 2026-10-17
Inferact 宣布与 AMD 达成工程合作，强化 vLLM 项目中 AMD Instinct GPU 上的生产级智能体推理。AMD 提供 Instinct 平台、ROCm 工程与 AITER 内核库；Inferact 与 vLLM 社区负责模型集成、服务功能与 day-0 适配。
合作聚焦智能体负载的痛点场景：长会话、长前缀与工具调用，每个配置都会以公开的 per-model serving recipe 形式发布。这项工作已在生产运行——随今年夏季多款开源大模型发布上线，Inferact 也在自己的 AMD Instinct 集群上为客户平台提供服务。
zijingliu 补充实战体会：冷启动搭集群确实痛苦，但这只是一次性的「入场费」，只要把该做的做对，AMD 跑前沿模型的实际表现「相当惊艳」。
所属事件:Inferact 联手 AMD 优化 Instinct GPU 智能体推理(2 条相关)→
「Infra」频道最新
- Kimi K3 三个月后:1.56TB 全量模型本地难跑,排名已被追平 — Sanbi_Ai · 2026-10-17
- Epoch AI 数据：xAI 的 GPU 其实比 CoreWeave 还少 — bookwormengr · 2026-10-17
- 黄仁勋回应 AI 股抛售：一切都会过去，只是暂时现象 — Polymarket · 2026-10-17
- Cloudflare Workers AI 全面推行零数据保留，承诺不用客户数据训模型 — michellechen · 2026-10-17
- Modal 揭秘速度护城河:分层分布式文件系统 ImageFS — dejavucoder · 2026-10-17
- AWS 构建 AgentCore 生产级评测框架:agent 失败是静默的 — AWS ML Blog · 2026-10-17