wllama v4.0 发布:改用 wasm mem32 提速最高 22%,Chrome 上快 2.8 倍
ngxson · x · 2026-11-23
wllama(浏览器内运行 GGML 模型的 wasm 绑定)发布 v4.0.0。作者 ngxson 解释了一个反直觉的设计选择:新版本弃用 wasm mem64 改用 mem32,因为 mem32 性能最高可快 22%。为绕开 mem32 的 4GB 堆大小限制,作者把 wasm 运行时拆分成多个实例,再通过 RPC 把它们串联起来。
新版本的主要更新:
- Chrome 上推理速度最高提升 2.8 倍
- 支持视频输入与全双工实时音频
- 在 Chrome 和 Firefox 上支持 CPU + WebGPU 混合推理,可运行更大的模型
所属事件:wllama v4.0.0 发布,浏览器内 LLM 推理最高提速 2.8 倍(4 条相关)→
「编程与Agent」频道最新
- 4 张 3090 跑 Qwen 3.8:KV Cache 卸载到内存,8 路并发 200k 上下文 — Mr_Moonsilver · 2026-11-23
- 「修好它日」工作流:用 Opus 5.5 逐个清掉生活里的坏毛病 — alliekmiller · 2026-11-23
- Replit 多智能体提速 NumPy:32 个 Claude 达 18.9 倍 — amasad · 2026-11-23
- 衡量 10x 工程师的标准:工作成果被多少人复用 — vboykis · 2026-11-23
- 微软将 Azure AI Search 升级为 Foundry IQ,做 Agent 知识层 — adnan_hashmi · 2026-11-23
- 用 Gemini 在 Blender 自动建 Optimus 模型:145 个绑定零件 — majidmanzarpour · 2026-11-23