FlashRT 系统：用 AI Agent 自动优化部署，延迟降 70 倍

BeidiChen · x · 2026-08-12

Beidi Chen 团队发布了 FlashRT，这是一个利用 AI agent 自动构建和优化 AI 基础设施的框架。在实时多模态应用（如语音助手、交互式视频生成）中，传统部署需要大量人工调优，而 FlashRT 让开发者只需提供简单的参考代码，agent 即可端到端地自动生成多 GPU 优化部署方案。

实验显示，在 5 个实时应用中，FlashRT 实现了高达 70 倍的低延迟和 3.6 倍的高吞吐量。有趣的是，在未经人工深度优化的 AMD GPU 上，该系统甚至取得了比 NVIDIA GPU 更好的表现，证明了 AI 自动调优的巨大潜力。