自研智能体优化 vLLM 推理栈，DeepSeek 等万亿参数模型吞吐量提升 16%

yisongyue · x · 2026-07-30

Asari AI Labs 宣布，他们利用自研的自我改进型智能体成功优化了 vLLM 项目的完整推理堆栈。在 B200 芯片上运行 DeepSeek v4 Pro 和 GLM 5.2 模型时，实现了高达 16% 的吞吐量和交互性提升。

该团队强调，整个优化过程无需人工干预，智能体能够自动验证每一次代码改进，并且随着迭代次数增加，寻找下一个优化点的能力和速度都在不断提升。这种将自动化智能体应用于底层推理基础设施优化的方法，为万亿参数大模型的高效部署提供了新范式。