agent 优化推理的根本两难:高保真测不出量,高吞吐测不准

simran_s_arora · x · 2026-11-05

Together 团队发现现有 agent 性能优化系统面临保真度与吞吐量的反馈权衡:1) 低保真高吞吐系统——用 agent 在独立基准 harness 里优化单个 kernel,但现代模型性能对数据高度敏感(MoE、稀疏 top-k 注意力、投机解码接受率都是数据相关原语),配图显示随机数据比真实流量激活更多 MoE 专家(256 query tokens 时约 260 vs 215),在随机数据上调优的 top-k kernel 到真实流量上从 16µs 恶化到 62ms;2) 高保真低吞吐系统——每次实验重启引擎,冷启动达 12.7 分钟(模型加载 265s、CUDA-graph 捕获 226s、autotuning 192s、KV-cache 定容 73s),吞吐极低。Together Compiler 的持久引擎正是为打破这一两难。