YC S25 项目 Magnitude 推出自优化推理引擎,比 llama.cpp 快 2 倍
anerli · hn · 2026-10-01
两位开发者(曾做过 4k+ GitHub star 的开源浏览器 agent)发布 Magnitude,一款为本地 agent 优化的推理引擎,宣称在 Mac/Linux/Windows 任意硬件上比 llama.cpp 快至 2 倍。
- 痛点:现有引擎各有取舍——vLLM/SGLang 为数据中心批量推理优化、牺牲单会话性能;llama.cpp/Ollama 求兼容不榨硬件;专用引擎缺完整性。且没有一个为 agent 场景设计(长会话、多会话并行、还要留资源干别的)。
- 做法:kernel 写成带可调参数的形式,在用户实际设备上编译调优,兼顾兼容性与专用 kernel 的性能上限;只为最热门开源权重模型家族写高效 kernel;动态内存分配,只预载权重所需内存,随会话增长自动扩堆、结束自动释放。
- 团队来自 YC S25。
「编程与Agent」频道最新
- 开发者把 MCP client 类比为传感器节点:压缩上下文并激活其他节点 — curious_vii · 2026-11-16
- 工程师吐槽:别让 AI 替你做决定,1 万 swarm 会话跑数天纯属浪费 — gerardsans · 2026-11-16
- Matt Pocock 引荐 poteto 演讲:给 agent 去掉决策自由度才能消灭 slop — mattpocockuk · 2026-11-16
- 数亿美元买的数据去哪了:实验室把它变成 Agent 训练沙盒 — StewartalsopIII · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 编码 agent 缓存撑爆硬盘,Plonge 一键安全清理帮 Mac 找回 40GB — JordanMorgan10 · 2026-11-16