浏览器里纯WASM跑LLM
celsowm · reddit · 2026-07-15
这个项目把 LiquidAI 的 LFM 2.5-350M 做成了一个完全在浏览器本地运行的推理 demo：不走后端、不依赖 WebGPU，直接用纯 WebAssembly 执行。
关键实现
- 手写 WASM SIMD 内核，覆盖 gemm/gemv、GQA attention、conv、RoPE 等。
- 模型权重做了 4-bit 量化（Q40），attention 投影用 Q8。
- 支持 batched prefill，避免 prompt 逐 token 预处理。
- 前端提供了聊天 UI、流式输出、停止按钮、实时 tok/s 和 markdown 渲染。
部署方式
- 权重托管在 Hugging Face：celsowm/lfm2.5-350m-wasm-q40
- 应用静态部署在 GitHub Pages
- 页面加载时从 Pages 拉词表/merges，从 HF 拉权重，然后全部本地推理
作者还给出了在线体验、GitHub 仓库和模型权重链接。
「Infra」频道最新
- 卖掉 5090 换多机？一公司主拆解本地推理硬件扩展五套方案 — Anarchaotic · 2026-10-27
- AWS 教程:SageMaker SDK v3 搭建车队级边缘视觉模型流水线 — AWS ML Blog · 2026-10-27
- Embedl 把 Qwen3.8-27B 压进 Jetson Thor:解码 40 tok/s,精度反超 FP16 — No-Dragonfly6246 · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Supabase 联创谈 AI 时代后端：为十亿个 AI 生成应用而设计 — Latent Space · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27