开源项目 DynaLM:纯 CPU 本地跑 LLM 的推理引擎求测试

Unlikely_Safety_7456 · reddit · 2026-10-23

开发者发布开源项目 DynaLM,一个 CPU 优先的 LLM 本地推理引擎,不依赖 GPU,提供原生 CPU 优化、模型支持与 OpenAI 兼容 API。作者明确表示不宣称比现有运行时更快,而是征集社区独立测试:多平台 CPU 性能复现、推理与 kernel 实现评审、排查 bug 与性能瓶颈等。仓库位于 dynalm-projects/dynalm,欢迎熟悉推理运行时和 C++ 系统开发的人反馈。

所属事件:开源 DynaLM:无需 GPU 的纯 CPU 本地 LLM 推理引擎(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →