YC 系 Magnitude 开源推理引擎：Metal 上解码比 llama.cpp 快至 2 倍

petrusenko_max · x · 2026-10-01

Magnitude（YC S25）发布开源推理引擎，可在设备端编译并调优 kernel。官方数据显示解码速度最高比 llama.cpp 快 2 倍：Metal 平台提升 92%，CUDA 平台提升 19%。支持 Apple Silicon、NVIDIA、AMD 及纯 CPU 硬件，采用 Apache-2.0 协议开源。

原文链接 →

「Infra」频道最新

• Swarms Rust 基准测试：比 LangChain 快最高 440 倍 — KyeGomezB · 2026-10-01
• 印度 EtherealMachine 从零自研五轴 CNC 机床，工厂首度曝光 — RoboBalaji · 2026-10-01
• Merge Agent Handler 入驻 NVIDIA NemoClaw，凭证隔离跑企业智能体 — shensi · 2026-10-01
• Google Data Agent Kit 正式 GA：15+ 数据服务接入任意编码智能体 — rseroter · 2026-10-01
• 本地 LLM 的核心价值：你拥有 agent loop 的控制权 — ag789 · 2026-10-01
• Framework 开售 192GB 内存 AMD AI Max 400 系列桌面机 — Educational_Sun_8813 · 2026-10-01

更多「Infra」频道 AI 资讯 →