wllama v4.0.0 发布:浏览器内 LLM 推理最高提速 2.8 倍

ngxson · x · 2026-11-23

wllama(llama.cpp 的 WebAssembly 绑定)发布 v4.0.0,作者 ngxson 宣布主要更新:Chrome 上推理与加载速度最高翻倍以上——prefill 最快 2.8x、生成 2.5x、OPFS 缓存加载 2.8x(对比 v3.13.0,Apple M5 Max 实测);新增 CPU + WebGPU 混合推理(Chrome/Firefox)以支持更大模型、GGUF 超 4GB 无大小限制、LoRA adapters、投机解码(MTP/DFlash/Eagle3)、视频输入与全双工实时音频。项目 MIT 开源,附在线 demo。

所属事件:wllama v4.0.0 发布,浏览器内 LLM 推理最高提速 2.8 倍(4 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →