浏览器里纯WASM跑LLM
celsowm · reddit · 2026-07-15
这个项目把 **LiquidAI 的 LFM 2.5-350M** 做成了一个**完全在浏览器本地运行**的推理 demo：不走后端、不依赖 WebGPU，直接用纯 **WebAssembly** 执行。 ### 关键实现 - 手写 **WASM SIMD** 内核，覆盖 gemm/gemv、GQA attention、conv、RoPE 等。 - 模型权重做了 **4-bit 量化（Q4_0）**，attention 投影用 Q8。 - 支持 **batched prefill**，避免 prompt 逐 token 预处理。 - 前端提供了聊天 UI、流式输出、停止按钮、实时 tok/s 和 markdown 渲染。 ### 部署方式 - 权重托管在 Hugging Face：`celsowm/lfm2.5-350m-wasm-q4_0` - 应用静态部署在 GitHub Pages - 页面加载时从 Pages 拉词表/merges，从 HF 拉权重，然后全部本地推理 作者还给出了在线体验、GitHub 仓库和模型权重链接。