Asari AI 推出自优化智能体提升大模型推理吞吐量

Asari AI 实验室提出了一种利用自我改进智能体（co-inventors）端到端优化 AI 推理栈的新方法。实验表明，该智能体成功优化了 vLLM 推理栈，在 NVIDIA B200 GPU 上运行 DeepSeek V4 Pro 和 GLM 等模型时，不仅实现了 16% 的吞吐量提升，而且完全不会损失模型精度。这标志着 AI 在底层系统优化方面取得了重要突破。

2026-08-04 ~ 2026-08-05 · 2 条相关