wllama v4.0.0 发布:浏览器内 LLM 推理最高提速 2.8 倍
ngxson · x · 2026-11-23
wllama(llama.cpp 的 WebAssembly 绑定)发布 v4.0.0,作者 ngxson 宣布主要更新:Chrome 上推理与加载速度最高翻倍以上——prefill 最快 2.8x、生成 2.5x、OPFS 缓存加载 2.8x(对比 v3.13.0,Apple M5 Max 实测);新增 CPU + WebGPU 混合推理(Chrome/Firefox)以支持更大模型、GGUF 超 4GB 无大小限制、LoRA adapters、投机解码(MTP/DFlash/Eagle3)、视频输入与全双工实时音频。项目 MIT 开源,附在线 demo。
所属事件:wllama v4.0.0 发布,浏览器内 LLM 推理最高提速 2.8 倍(4 条相关)→
「Infra」频道最新
- 4 张 3090 跑 Qwen 3.8:KV Cache 卸载到内存,8 路并发 200k 上下文 — Mr_Moonsilver · 2026-11-23
- OpenAI 图表泄露 GPT-6 Astra 与内部模型,Domingos 质疑数百亿美元收益 — pmddomingos · 2026-11-23
- 作者复盘 wllama v4.0:RPC 方案性能损失极小,致谢 GGML RPC 后端 — ngxson · 2026-11-23
- layerpool 开源:模型按层拆到多台设备,HF Trainer 零改动 — Historical_Syrup_461 · 2026-11-23
- 开发者叹法国坐拥低碳电网,却没建起绿色数据中心生态 — Dimillian · 2026-11-23
- Fchollet:部署摩擦反而利好 AI 基建,拉长建设周期避免产能过剩 — npinto · 2026-11-23