vLLM 团队与 AMD 合作优化 Instinct GPU 上的生产级 Agent 推理
woosuk_k · x · 2026-10-17
由 vLLM 创始团队创立的推理公司 Inferact 宣布与 AMD 达成工程合作,强化 AMD Instinct GPU 上 vLLM 对生产级与 agentic 推理的支持。要点:
- 分工:AMD 提供 Instinct 平台、ROCm 工程与 AITER 内核库;Inferact 与 vLLM 社区负责模型集成、serving 功能与新模型 day-0 支持。
- 重点场景是 agentic 负载:长时间会话、长前缀、工具调用;每个配置将以公开的 per-model serving recipe 形式发布。
- 合作成果已上线:今年夏季多款开源模型发布时即已随版交付,Inferact 自己的平台也在 AMD Instinct 集群上运行这套栈。
- 所有产出都会进入开源 vLLM 项目。
「Infra」频道最新
- AMD 携手 Inferact 强化 vLLM 智能体推理,已在生产环境运行 — woosuk_k · 2026-10-17
- NVIDIA RTX Spark 笔记本开售:128GB 统一内存可本地跑前沿模型 — steipete · 2026-10-17
- 3 倍做多半导体 ETF 单周吸入 38 亿美元，创历史纪录 — toptickcrypto · 2026-10-17
- Strata 让十年老卡复活:双 Maxwell GPU 跑本地 LLM 达 150 tk/s 预填充 — jmuff98 · 2026-10-17
- 四台 GB10 环形直连不交换机，网友戏称「令牌环」 — l4rz · 2026-10-17
- Intel LLM-Scaler-vLLM PV 1.5 发布,vLLM 在 Arc 上性能大幅提升 — Fcking_Chuck · 2026-10-17