MLX-Serve 全面重写:插件架构支持任意模型与量化格式免重编译接入
TheMoonMidas · x · 2026-10-29
MLX-Serve 26.11.1 将对引擎进行全面重写,围绕「积木 + 插件」架构设计:
- 任何人可用 C/C++/Rust/Zig 等语言编写插件,为引擎添加新模型、新量化类型、新媒体引擎或更快的替代实现,无需重新编译 MLX-Serve
- 发布时将附带两个插件:Tai 的 TurboEXL3 和 Deepseek Sushi STQ;插件不设中心注册表,需从 GitHub 下载自行编译(作者建议让 agent 审查代码以保证安全)
- 目标是提供实验新模型、新 kernel、更快方法的框架,复用引擎能力即可,也可深入到融合 mega kernel 的硬核模式
- 随附的 TurboEXL3 文章论证 EXL3 应成为现代 Mac 上 MoE 模型专家权重的默认格式,挑战目前 MLX affine 4-bit/MXFP4/NVFP4 的主流选择
「Infra」频道最新
- 上交大 TAO 调度框架:工具感知使 Agent 服务延迟最多降 26.8% — AIOR-Research · 2026-10-29
- Nscale 冲击 300 亿美元估值 IPO，CEO 经验尚浅临危上阵 — bloomberg · 2026-10-29
- 单张 RTX 5080 跑 Qwen3.8 Flash Next：IQ3_S 量化峰值 275 tok/s — yehyakar · 2026-10-29
- 谷歌云 CEO：苹果在最新 TPU 上扩展基础模型预训练 — shayan_ · 2026-10-29
- 一张图看懂 FlashAttention:瓶颈不是计算而是搬运数据 — cneuralnetwork · 2026-10-29
- Particle-1 推理服务上线 OpenRouter,输出 token 省 28-52% — ycombinator · 2026-10-29