Runway 优化推理:57B 视频模型实时对话从 8 张 H100 降到 4 张
runwayml · x · 2026-11-18
Runway 发布研究文章,详解其实时视频对话产品 Characters(约 57B 参数的自回归视频扩散 transformer)如何把每路会话的 GPU 需求从 8 张 H100 降到 4 张。
关键数据与做法
- 模型需每 166.7ms 生成一段 4 帧 704x1088 视频(24fps);优化前 4 卡上单步耗时 240.9ms,远超标
- 通过一系列优化把单步降到 159.3ms(1.51x,持续 24.5fps),再用融合通信内核进一步压到 147.4ms(1.63x)
- 发现原步骤中 29% 的 GPU 时间花在 240 次注意力调用里反复处理基本不变的缓存,注意力本身仅占 6%;改为每帧写入时处理一次后,缓存维护从每步 69.7ms 降至 6.2ms
文章还讨论了越过恐怖谷所需的对话节奏,以及生产环境下的推理系统设计。
「Infra」频道最新
- 美国六天内五起系统宕机,零起确认网络攻击 — justin_hart · 2026-11-18
- Gary Marcus:英伟达财报涨势不足 15 分钟,Oracle 自峰值跌 65% — GaryMarcus · 2026-11-18
- Roboflow 指出视觉 AI 长尾困境:BNSF 用 32500 英里铁轨部署专用视觉模型 — PTrubey · 2026-11-18
- Be your own datacenter:全套开源自建 AI 工作站指南 — dee_hw · 2026-11-18
- Blink 嵌入速度实测:model2vec 单查询快 3.8 倍,批量场景 ST 反超 2.2 倍 — tomaarsen · 2026-11-18
- 哈佛研究:美国超大规模数据中心逾半电力来自煤电与天然气 — The Decoder · 2026-11-18