Meta 重回开源!Muse Glimmer 支持 RTX 5090 本地极速推理

ying11231 · x · 2026-08-11

Meta 发布了开源模型 Muse Glimmer(300亿参数的稠密模型),并获得了 SGLang 的首日支持。

通过 SGLang 框架及量化技术,该模型在单张 RTX 5090 显卡上可实现约 230 tokens/秒 的推理速度。目前,Hugging Face 上已提供针对 Apple Silicon 和 NVIDIA 硬件的量化检查点。这一组合大幅突破了本地智能体的速度和可靠性瓶颈,支持在 RTX Pro 6000、DGX Spark 以及 Mac (MLX) 上开箱即用。

所属事件:Meta开源30B智能体模型Muse Glimmer(63 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →