wllama:llama.cpp 的 WebAssembly 绑定,浏览器里跑 LLM
mervenoyann · x · 2026-10-19
Hugging Face 员工 mervenoyann 推荐开源项目 wllama——llama.cpp 的 WebAssembly 绑定,让 LLM 推理直接在浏览器中运行,无需后端服务器。项目在 GitHub 已获约 1.3k star,MIT 协议,支持通过 WebGPU 在浏览器本地推理,提供在线 demo 和开发者文档。对想做纯前端、隐私优先的 LLM 应用开发者是个现成方案。
「Infra」频道最新
- 四套免费 CUDA 学习资源:从 NVIDIA 官方课到牛津大学讲义 — techNmak · 2026-10-19
- 4GB 显存的 3050 笔记本跑 Moss 图像模型,优化后 62 秒出图 — sanketshinde2004 · 2026-10-19
- 巴克莱:纯数据中心债券利差升至约209bp,市场开始计入传染风险 — SumitGup · 2026-10-19
- GPU 开发者称需打造轻量可解释性推理引擎,称移植数值差异难解 — brandon_xyzw · 2026-10-19
- llama-doctor:读 llama.cpp 指标并按严重度诊断问题的 CLI 工具 — msalsas · 2026-10-19
- 阿拉斯加水下 AI 数据中心申请待审,仅存约 330 头白鲸栖息地恐受扰 — anselm · 2026-10-19