C++ 编写:在 Intel NPU/iGPU 上零 Python 跑本地 LLM 的开源工具
Spiritual-Ad-5916 · reddit · 2026-09-17
开发者发布了 XeBoostLM（v0.1.2），一个纯 C++ 编写、基于 OpenVINO GenAI 的本地 LLM 命令行工具，专门针对 Intel Core Ultra NPU、Arc iGPU 与 CPU，生成阶段零 Python 开销：
- 硬件路由：可手动指定 NPU/GPU/CPU，或用 HYBRID 模式平衡吞吐与系统响应；
- OpenAI 兼容服务：xeboost serve 起一个支持 SSE 流式的 HTTP 服务，可直接接入 Open WebUI 与 LibreChat；
- 模型目录：xeboost pull 自动拉取并校验 INT4/INT8 优化模型（Qwen 2.5、Phi-3.5、Llama 3.2、DeepSeek R1）；
- 终端 REPL：xeboost chat <model> 命令行多轮对话。
项目开源在 GitHub，作者征集 Intel 设备用户测试与反馈。
「Infra」频道最新
- 剑桥学者发问:AI 公司每发一个 token 都在亏钱,有人算过账吗? — DavidSKrueger · 2026-09-17
- 从伊朗封号到 Bing 泄露 2 万私有库，开发者思量迁移出 GitHub — FlolightC · 2026-09-17
- 12GB 显存跑 Qwen3.8 Flash:3bpw 量化达成 15 tokens/s — KnownAd4832 · 2026-09-17
- DeepSeek V4 Pro 输出解析缺陷疑波及 OpenRouter 六成供应商，修复已提交 sglang — michellechen · 2026-09-17
- Unconventional AI 用耦合振荡器做图像生成，代码全部开源 — NaveenGRao · 2026-09-17
- 从组建团队到流片仅 5 个月，CEO 展示片上因果动力学推理 — NaveenGRao · 2026-09-17