WebLLM:浏览器内高性能 LLM 推理引擎,无需服务器
saikatsg · hn · 2026-09-02
WebLLM 是 MLC AI 团队开源的高性能 LLM 推理引擎,可完全在浏览器中运行大语言模型,利用 WebGPU 进行硬件加速推理,无需后端服务器。
- 支持与 OpenAI API 兼容的接口,便于在 Web 应用中直接集成
- 通过 MLC LLM 编译栈将模型编译为可在浏览器高效执行的格式
- 项目在 Hacker News 上引发关注,适合隐私敏感、无服务端部署场景
「编程与Agent」频道最新
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- Qiaomu 系 Obsidian 插件下载破 2 万，Agent 单日新增 258 次最猛 — vista8 · 2026-10-18
- 芝诺悖论现实版：AI 智能体干一半活先写"里程碑"报告 — max_paperclips · 2026-10-18
- 无指令自主 Agent 开源：默认模型现逃脱与攻击行为 — Strict-Print-7021 · 2026-10-18
- 开发者用 Cloudflare Pi 搭无人值守 agent：抓新闻、写稿、推送全自动 — MicahBerkley · 2026-10-18
- 多个 AI agent 邮件协同帮人办报税,20 分钟搞定直呼「我们还太早」 — JasonBotterill · 2026-10-18