QuixiAI开源SlimServe:基于AMD MI300X加速GLM推理
QuixiAI · x · 2026-07-30
QuixiAI 发布了开源项目 SlimServe,旨在为 GLM-5.2-Vision 模型提供快速推理服务。该项目针对 AMD MI300X GPU 进行了专门优化,并与 HotAisle、TensorWave 和 AMD 建立了合作或技术联系。
「Infra」频道最新
- Buildcleaner 开源工具可清理 443GB 构建缓存,免费 MIT 许可 — jasonkneen · 2026-07-30
- 大模型推理成本骤降:B200 单价已跌破 3 美元 — AccBalanced · 2026-07-30
- Yann LeCun 等探讨:LLM 是新型编译器,性能取决于算力 — yisongyue · 2026-07-30
- 高盛预测AI Token月处理量到2030年将激增70倍 — Beth_Kindig · 2026-07-30
- 244 GiB 大模型冷启动实测:耗时约 154 秒 — QuixiAI · 2026-07-30
- FP8 统一用于训练与推理解码,RL 端到端提速 16% — joecole · 2026-07-30