WebLLM:浏览器内高性能 LLM 推理引擎,无需服务器
saikatsg · hn · 2026-09-02
WebLLM 是 MLC AI 团队开源的高性能 LLM 推理引擎,可完全在浏览器中运行大语言模型,利用 WebGPU 进行硬件加速推理,无需后端服务器。
- 支持与 OpenAI API 兼容的接口,便于在 Web 应用中直接集成
- 通过 MLC LLM 编译栈将模型编译为可在浏览器高效执行的格式
- 项目在 Hacker News 上引发关注,适合隐私敏感、无服务端部署场景
「编程与Agent」频道最新
- Fable 5.1 生成 three.js 网站实测：快且精准，但细节仍需人把关 — repligate · 2026-09-03
- SentinelX 开源：让 LLM 安全接管你的 Linux 服务器终端 — CarolusX74 · 2026-09-03
- 连载 30 天：用 fable 5.1 给户外机器人写出无线手柄控制器 — _Stocko_ · 2026-09-03
- 试水 AmpCode：可用 ChatGPT 订阅、每线程一台云电脑，槽点是吉祥物 Puck — carlosdponx · 2026-09-03
- 一人一 Agent 独立 microVM:语言学习产品上线生产环境的三个教训 — maritime_sh · 2026-09-03
- 断网手写 10 页文档后让 Agent 做成 PPT：作者发现自己文字像 AI 糊弄产物 — cnakazawa · 2026-09-03