YC S25 项目 Magnitude 推出自优化推理引擎,比 llama.cpp 快 2 倍
anerli · hn · 2026-10-01
两位开发者（曾做过 4k+ GitHub star 的开源浏览器 agent）发布 Magnitude，一款为本地 agent 优化的推理引擎，宣称在 Mac/Linux/Windows 任意硬件上比 llama.cpp 快至 2 倍。
- 痛点：现有引擎各有取舍——vLLM/SGLang 为数据中心批量推理优化、牺牲单会话性能；llama.cpp/Ollama 求兼容不榨硬件；专用引擎缺完整性。且没有一个为 agent 场景设计（长会话、多会话并行、还要留资源干别的）。
- 做法：kernel 写成带可调参数的形式，在用户实际设备上编译调优，兼顾兼容性与专用 kernel 的性能上限；只为最热门开源权重模型家族写高效 kernel；动态内存分配，只预载权重所需内存，随会话增长自动扩堆、结束自动释放。
- 团队来自 YC S25。
「编程与Agent」频道最新
- 一个 uv 替代五个 Python 工具，比 pip 快 10-100 倍 — blaizedsouza · 2026-10-01
- KV-streams 方法让 SWE Agent 训练提速 2 倍且不掉点 — burny_tech · 2026-10-01
- LangChain 用「每 PR 人工干预次数」评估编码 Agent — LangChain · 2026-10-01
- Slack 触发 Agent、GitHub 留评论自动修：「软件工厂」实况 — LangChain · 2026-10-01
- CorpusMap 按实体组织语料,让 Agent 顺关联检索省 token — coallaoh · 2026-10-01
- Opus 5.5 与 Sonnet 5.5 分工速查表：10 类任务各归其位 — blaizedsouza · 2026-10-01