单GPU跑到每分钟10亿token：Modal组合查询规划器与推理引擎

charles_irl · x · 2026-09-25

Modal 研究员 Charles Frye 与 CMU 助教 Shreya Shankar 发表长文，讲述如何在一个 GPU 上实现每分钟十亿 token 的处理量：把数据库式的查询规划器与 LLM 推理引擎组合起来，用于 AI-SQL 这类大批量推理负载。

文章指出，编程 agent 与聊天机器人之外，后端正发生一场更安静的推理革命——对海量数据进行简单的 LLM 变换（如 SQL 里逐行跑 prompt 过滤），这类负载不需要前沿智能，小开源模型足够，但原始序列动辄百万级、每条数千 token，天真地喂给为低延迟优化的推理引擎效率极差。解法是像数据库一样先做查询规划，再批量调度给推理引擎，把成本打下来。作者将其定位为被「卷智能」竞赛忽视的 Pareto 前沿上被压抑需求的那个点。Karpathy 也在评论中提及此事。