4 张 AMD MI355X 跑出 1129 tokens/秒,DeepSeek 推理创纪录
Scobleizer · x · 2026-11-18
Scobleizer 转引 Hassan 团队的文章:Sciforium 的 DeepSeek-V4.1-Flash 部署在 4 张 AMD Instinct MI355X GPU 上,借助针对真实流量调优的投机解码 drafters,在 P90 下达到 1129 output tokens/秒,约 9 秒生成一万 token。
要点:
- 这是真实生产流量下的成绩,非玩具项目;团队强调没有重写 vLLM
- 不久前还有人质疑 AMD GPU 能否跟上,如今在 AMD 卡上刷新了纪录
- Scoble 的观察:响应速度改变与 AI 协作的方式——答案要等一分钟人会走神,秒级响应才能保持心流
「Infra」频道最新
- Sarvam token 工厂 vs OpenRouter:聚合器与垂直整合的本质差异 — itsOmSarraf_ · 2026-11-18
- x402 开放四个工作组:域名发现、身份、税务与银行卡受理 — kleffew94 · 2026-11-18
- Chutes 联手阿里云上线 GLM-5.3 与 DeepSeek V4.1,限时 65 折 — markjeffrey · 2026-11-18
- 美新规冻结 4.8 亿美元贷款,字节马来西亚购买英伟达 GPU 计划受阻 — rohanpaul_ai · 2026-11-18
- 一张 RTX 4090 跑满 Qwen3.8-Flash:Geek 自建推理引擎全程实录 — Distinct-Pie2389 · 2026-11-18
- GPT-6.2 Astra 只当大脑:同一 3D 场景账单从 7.4 美元降到 1.62 美元 — GapNew4766 · 2026-11-18