Revolut 推理优化实录:同 56 张 GPU,首 token 从 10 秒降到 1.6 秒

ccerrato147 · x · 2026-11-05

Revolut 的推理优化案例:同样 56 张 GPU,4 月首 token 延迟超 10 秒,到 8 月降至 1.6 秒,且承载流量翻倍以上。具体手段:上下文上限砍到 256K tokens、权重跑 4 bit 量化、缓存命中率调优至 90% 以上。作者补充观察:给工程师设用量上限反而省钱——有限额的工程师会把 token 留给季度末最难的任务,无限额的则把代码、工单、收件箱全塞给 agent,「配给」本身才是真正的成本。