KerasHub原生集成vLLM并内置投机解码

Keras 创始人 François Chollet 宣布 KerasHub 引入了新的可插拔后端架构，最值得关注的更新是原生集成了 vLLM。用户现在可以直接使用 vLLM 部署模型，获得显著的推理性能提升。同时，KerasHub 已为所有因果语言模型内置了投机解码功能，进一步优化了模型的推理效率。

2026-08-08 ~ 2026-08-08 · 3 条相关