wllama v4.0.0 发布:浏览器跑 llama.cpp 提速至 2.8 倍
ngxson · x · 2026-11-23
llama.cpp 的 WebAssembly 绑定库 wllama(1.4k stars)发布 v4.0.0,显著提升浏览器内 LLM 推理能力:
- Chrome 上 prefill 最快提速 2.8x、生成最快 2.5x、模型加载(OPFS 缓存)最快 2.8x;
- 不再有 4GB 大小限制,GGUF 大模型可原样加载;5.15GB 的 Gemma 4 E4B 旧版无法加载,新版可跑出 56 t/s prefill、18.9 t/s 生成;
- 支持 CPU + WebGPU 混合推理(Chrome/Firefox),可跑更大模型;
- 新增视频输入、全双工实时音频、LoRA adapters、投机解码(MTP、DFlash、Eagle3)。
提供在线 demo(Hugging Face Space)与完整文档,MIT 协议开源。
所属事件:wllama v4.0.0 发布,浏览器内 LLM 推理最高提速 2.8 倍(4 条相关)→
「Infra」频道最新
- 4 张 3090 跑 Qwen 3.8:KV Cache 卸载到内存,8 路并发 200k 上下文 — Mr_Moonsilver · 2026-11-23
- OpenAI 图表泄露 GPT-6 Astra 与内部模型,Domingos 质疑数百亿美元收益 — pmddomingos · 2026-11-23
- 作者复盘 wllama v4.0:RPC 方案性能损失极小,致谢 GGML RPC 后端 — ngxson · 2026-11-23
- layerpool 开源:模型按层拆到多台设备,HF Trainer 零改动 — Historical_Syrup_461 · 2026-11-23
- wllama v4.0.0 发布:浏览器内 LLM 推理最高提速 2.8 倍 — ngxson · 2026-11-23
- 开发者叹法国坐拥低碳电网,却没建起绿色数据中心生态 — Dimillian · 2026-11-23