QuixiAI 开源 Model-Optimizer:统一模型压缩与推理加速方案

QuixiAI · x · 2026-08-02

QuixiAI 在 GitHub 上开源了 Model-Optimizer 库,旨在为深度学习模型提供一套统一的先进优化方案。该工具集成了量化、蒸馏、剪枝、神经网络架构搜索和投机解码等多种技术,能够将模型压缩并适配至 TensorRT-LLM、vLLM 等下游部署框架,从而显著提升推理速度。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →