omlx：支持 SSD 缓存的苹果芯推理服务器
jundot · github · 2026-08-17
- 项目定位：专为 Apple Silicon 设计的 LLM 推理服务器，支持连续批处理和 SSD 缓存以优化显存使用。
- 管理方式：直接集成到 macOS 菜单栏，提供便捷的本地管理体验。
- 兼容性：提供 OpenAI API 兼容接口，便于在本地运行现有模型应用。
「Infra」频道最新
- LocalAI 团队半年新增 17 个 C++ 推理后端 — rms80 · 2026-08-17
- 黄仁勋：土地电力和机房是 AI 工厂的新战略资源 — firstadopter · 2026-08-17
- 3060 与 4070 Super 混搭本地部署可行性与配置建议 — HsSekhon · 2026-08-17
- 英伟达 15 亿美元注资，确保 OpenAI 获俄亥俄州 8GW 算力 — nvidia · 2026-08-17
- 英伟达将提供算力，OpenAI 租用俄亥俄州 8GW 数据中心 — nvidia · 2026-08-17
- 英伟达担保电力并建厂，OpenAI 锁定 600 亿美元算力至 2030 年 — NVIDIA Blog · 2026-08-17